芯片问题其实没必要担心,用叠加和集群等方法,计算结果上与最先进水平是相当的。”近期,华为总裁任正非的一次公开发声,增强了社会各界对中国AI发展的信心。
我们都知道,中国已经形成了“百模千态”的大模型产业,有多个大模型走在全球前列。但无论AI产业如何发展,算力都是驱动模型演进的根本动力。随着外部技术封锁步步紧逼,国产算力能否担当大用?是否只能做推理而不能做复杂训练?很多人其实心里没底。
“我们单芯片还是落后美国一代,我们用数学补物理,非摩尔补摩尔,用群计算补单芯片,在结果上也能达到实用状况。”任正非的公开发声,给国内AI产业吃下了一颗“定心丸”。
带着对国产算力发展的关心,观察者网与华为2012实验室的技术专家的做了一次交流,我们了解到,昇腾算力不仅实现推理性能全球领先,同时系统稳定性也保持在高水平,能高效训出世界一流的万亿参数大模型。尤其是CloudMatrix 384超节点技术,以系统补单点,从堆芯片到拼架构,核心指标比肩英伟达,成为中国AI发展的坚实算力底座。
芯片问题为何不用担心?
在外部制裁围堵下,芯片问题就像“达摩克里斯之剑”一样,一直悬在中国产业界头上。尤其随着中美AI竞争愈发激烈,美国一方面竭力遏制中国先进芯片制造的能力,另一方面又不断收紧对英伟达高端芯片的出口管制,试图让中国AI产业在“算力囚笼”中止步不前。
但危中也有机。行业的发展趋势是,当Transformer这样的大型神经网络模型横空出世,万亿参数模型开始涌现,对算力和显存的需求呈爆炸式增长,单个GPU甚至单个服务器都难以招架,集群算力成为大势所趋,这也给中国用系统方法解决算力困境带来契机。
说起“系统论”,老一辈中国人可能并不陌生。钱学森的《论系统工程》,核心思想就是把研究对象看做一个整体而不是孤立的点,通过整体优化弥补单点落后。
华为制裁中突围,正是受到系统工程的启发。技术专家对观察者网表示,算力基础设施是复杂的系统,华为把各个部分打通了,在内部组织了算力会战,把华为云、模型、底座、芯片、硬件工程、基础软件的研发力量集结在一起,跨部门作战,深度协同。这样的环境和机制,能够产生协同效应和系统工程的整合,实现了“大杂烩”技术的有效利用和协同创新。
基于系统工程,华为构建了巨型算力基础设施CloudMatrix 384超节点,通过全对等高速互联架构,让384张昇腾卡可以像一台计算机一样工作。它的算力总规模达300Pflops,是英伟达旗舰NVL72的1.7倍;网络互联总带宽达269TB/s,比英伟达NVL72提升107%;内存总带宽达1229TB/s,比英伟达NVL72提升113%。更关键的是,它还能扩展为包含数万卡的Atlas 900 SuperCluster超节点集群,未来可以支撑更大规模的模型演进。