半导体芯科技编译
Mark Liu 是中国台湾积体电路制造株式会社董事长。
Philip Wong 是斯坦福年夜学工程学院教授兼台积电首席科学家。
TSMC
1997 年，IBM 深蓝 超级盘算机击败了国际象棋世界冠军加里·卡斯帕罗夫。这是超级盘算机技术的一次首创性展示，也是高性能盘算有朝一日可能逾越人类智能的初露眉目。于随后的 10 年中，咱们最先将人工智能用在许多现实使命，如脸部辨认、语言翻译、保举影戏及商品等。
又过了十五年，人工智能已经经生长到可以 合成知识 的田地。天生式人工智能，如 ChatGPT 及 Stable Diffusion，可以作诗、创作艺术品、诊断疾病、撰写总结陈诉及盘算机代码，甚至可以设计与人类制造的集成电路相媲美的集成电路。
人工智能将面对巨年夜的机缘，成为人类所有事情的数字化助手。ChatGPT 就是一个很好的例子，它申明了人工智能怎样使高性能盘算的利用布衣化，为社会中的每小我私家带来益处。
所有这些使人赞叹的人工智能运用都归功在三个因素：高效机械进修算法的立异、可用在练习神经收集的海量数据的可用性，以和经由历程半导体技术的前进于高能效盘算方面取患上的进展。只管天生式人工智能革命的孝敬无处不于，但却没有获得应有的赞誉。
于已往的三十年里，人工智能领域的庞大里程碑都患上益在其时领先的半导体技术，没有这些技术是不成能实现的。“深蓝”接纳0.6 微米及 0.35 微米节点的混淆芯片制造技术实现的。于 ImageNet 角逐中获胜、开启了当前机械进修时代的深度神经收集，是接纳40 纳米技术实现的。AlphaGo 接纳28 纳米技术征服了围棋角逐，而 ChatGPT 的最第一版本是于接纳 5 纳米技术制造的盘算机上进行练习的。最新版本的 ChatGPT 由接纳更进步前辈的 4 纳米技术的服务器驱动。相干盘算机体系的每一一层，从软件及算法到架构、电路设计及装备技术，都是人工智能性能的倍增器。但公允地说，基础晶体管-器件技术是上述各层技术前进的基础。
如果AI革命要以今朝的速率继续下去，那末半导体行业将需要更多的努力。于十年内，它将需要一个 1 万亿晶体管 GPU，也就是说，GPU 的装备数目是现今典型装备的 10 倍。
AI模子规模连续增加
于已往五年中，人工智能练习所需的盘算量及内存拜候量呈数目级增加。例如，练习 GPT-3 需要相称在每一秒 50 亿亿次以上的运算量（即天天5,000 petaflops ）及 3 万亿字节（3 TB）的内存容量。
新的天生式人工智能运用所需的盘算能力及内存拜候能力都于连续快速增加。咱们现在需要回覆一个紧急的问题： 半导体技术怎样才气跟上法式？
从集成器件到集成芯片
自集成电路发现以来，半导体技术一直于缩小特性尺寸，以便于拇指指甲巨细的芯片中塞进更多的晶体管。如今，集成度更上一层楼；咱们正于逾越二维扩大，进入三维体系集成。现在，咱们正于把许多芯片组装成一个慎密集成、年夜规模互连的体系。这是半导体技术集成的范式改变。
于AI时代，体系的能力与集成到体系中的晶体管数目成正比。此中一个重要限定因素是，光刻芯片制造工具的设计是为了制造不跨越 800 平方毫米的集成电路，这就是所谓的 “光罩极限”（reticle limit）。可是，咱们现在可以将集成体系的尺寸扩大到光刻的光罩极限以外。经由历程将多个芯片毗连到更年夜的中介层（一块内置互连的硅片）上，咱们可以集成一个包罗比单个芯片上更多器件的体系。例如，台积电CoWoS技术（chip-on-wafer-on-substrate ）可容纳多达六个光罩场的盘算芯片，以和十几个高带宽内存（HBM）芯片。
Nvidia 怎样利用 CoWoS 进步前辈封装技术
CoWoS是台积电的硅上芯片进步前辈封装技术，今朝已经运用在产物中。。示例包罗 Nvidia Ampere 及 Hopper GPU。每一个都由一个 GPU 芯片及六个高带宽内存立方体组成，全数位在硅中介层上。盘算GPU芯片的巨细与芯片制造工具今朝允许的巨细差未几。Ampere 有 540 亿个晶体管，Hopper 有 800 亿个。从 7 纳米技术到更密集的 4 纳米技术的改变使患上于基真相同的面积上封装 50% 以上的晶体管成为可能。Ampere 及 Hopper 是现今年夜型语言模子 （LLM） 练习的主力军。练习 ChatGPT 需要数以万计的此类处置处罚器。
HBM 是另外一个对于 AI 日趋主要的要害半导体技术的实例：经由历程将芯片重叠于一路来集成体系的能力，咱们台积电称之为体系级集成芯片 （SoIC：system-on-integrated-chips ）。HBM 由节制逻辑 IC 顶部的一组垂直互连的 DRAM 芯片组成。它利用称为硅通孔 （TSV） 的垂直互连来获守信号，并经由历程每一个芯片及焊料凸点来形成存储芯片之间的毗连。如今，高性能 GPU 广泛利用 HBMm。
瞻望未来，3D SoIC 技术可以为现今的传统 HBM 技术提供“无凸通替换方案”（bumpless alternative），于重叠芯片之间提供更密集的垂直互连。近来的进展注解，HBM 测试结构具备 12 层芯片重叠，利用混淆键合，这类铜对于铜的毗连密度比焊接凸点更高。该存储器体系于较年夜的基础逻辑芯片上低温键合，总厚度仅为 600 μm。
高性能盘算体系由年夜量运行年夜型人工智能模子的芯片组成，高速有线通讯可能会迅速限定盘算速率。如今，光互连已经被用在毗连数据中央的服务器机架。不久的未来，咱们将需要基在硅光子技术的光接口，与 GPU 及 CPU 封装于一路。如许就能为 GPU 与 GPU 之间的直接光通讯提供更高的能效及面积效率带宽，从而使数百台服务器可以或许像拥有同一内存的单个巨型 GPU 同样运行。因为人工智能运用的需求，硅光子技术将成为半导体行业最主要的使能技术之一。
迈向万亿晶体管 GPU
AMD 怎样利用 3D 技术
AMD MI300A 加速处置处罚器单元不仅使用了 CoWoS，另有使用了台积电的 3D 技术——SoIC。MI300A 联合了 GPU 及 CPU 内核，旨于处置处罚最年夜的AI事情负载。GPU 履行AI的密集矩阵乘法运算，而 CPU 则节制整个体系的运行，高带宽内存 (HBM) 则同一为二者服务。9 个接纳 5 纳米技术制快盈VIII平台-造的盘算芯片重叠于 4 个接纳 6 纳米技术制造的基础芯片之上，这些芯片专门用在缓存及 I/O 流量。基础芯片及 HBM 再硅中介层之上。处置处罚器的盘算部门由 1500 亿个晶体管组成。
如前所述，用在人工智能练习的典型 GPU 芯片已经经到达了光罩极限 (reticle field limit)。它们的晶体管数目约为 1000 亿个。晶体管数目继续增长的趋向将需要多个芯片，经由历程 2.5D 或者 3D 集成相互毗连来履行盘算。经由历程 CoWoS 或者 SoIC 以和相干的进步前辈封装技术将多个芯片集成于一路，可以使每一个体系的晶体管总数年夜年夜跨越单个芯片的晶体管总数。咱们推测，十年内多芯片 GPU 的晶体管数目将跨越 1 万亿个。
咱们需要于3D堆栈中将所有这些芯片毗连于一路，但幸运的是，业界已经经可以或许迅速缩小垂直互连的间距，提高毗连密度。而且另有有富足的空间容纳更多。咱们认为互连密度没有理由不克不及增加一个数目级，甚至更高。
GPU 的高能效性能趋向
那末，所有这些立异硬件技术是怎样晋升体系性能的呢？
如果咱们看看能效性能指标(EEP：energy-efficient performance)的稳步晋升，就能发现服务器 GPU 的生长趋向。EEP是对于体系能效及速率的综合权衡。于已往的 15 年中，半导体行业每一两年就能将能效性能提高约三倍。咱们信赖，这一趋向将以汗青性的速率连续下去。推动这一趋向的将是多方面的立异，包罗新质料、器件及集成技术、极紫外线（EUV）光刻技术、电路设计、体系架构设计以和所有这些技术要素的配合优化等等。
尤其是，咱们于此会商的进步前辈封装技术将有助在提高 EEP。此外，体系技术协同优化（STCO：system-technology co-optimization）等看法也将变患上愈来愈主要，于STCO 中，GPU 的差异功效部门被疏散到各自的芯片上，并利用性能最佳、最经济的技术来构建每一个部门。
3D集成电路的Mead-Conway时刻
1978 年，加州理工学院教授 Carver Mead 及施乐 PARC的 Lynn Conway 发现了一种集成电路盘算机辅助设计要领。他们利用一套设计规则来描写芯片的缩放比例，如许工程师们就能够轻松地设计超年夜规模集成电路（VLSI），而无需太多的工艺技术知识。
3D芯片设计也需要这类能力。如今，设计职员需要相识芯片设计、体系架构设计以和硬件及软件优化。制造商需要相识芯片技术、3D IC技术及进步前辈的封装技术。正如咱们于 1978 年所做的那样，咱们再次需要一种通用语言，以电子设计工具可以或许理解的方式来描写这些技术。这类硬件描写语言可让设计职员自由地举行 3D 集成电路体系设计，而无需思量底层技术。它行将问世： 一种名为 3Dblox 的开源尺度已经被现今年夜多数技术公司及电子设计主动化 (EDA) 公司所接纳。
隧道以外的未来
于人工智能时代，半导体技术是实现新的人工智能能力及运用的要害因素。新型 GPU 再也不受限在已往的尺度尺寸及形状尺寸。新的半导体技术也再也不局限在于二维平面上缩小下一代晶体管的尺寸。一个集成的人工智能体系可以由尽可能多的高能效晶体管、适用在专业盘算事情负载的高效体系架构以和优化的软硬件瓜葛组成。
于已往的 50 年里，半导体技术的生长就像于隧道里行走。前方的门路是清楚的，由于有一条明确的门路。每一小我私家都知道需要做甚么：缩小晶体管。
现在，咱们已经经走到了隧道的终点。从这里最先，半导体技术将愈来愈难生长。然而，于隧道以外，另有有更多的可能性。咱们再也不受已往的束厄局促。
【线下姑苏年夜会】
行业进修？资源对于接？尽于5月22-23日姑苏年夜会！“专业展览会+泛半导体工业论坛+独家权势巨子访谈+展区特点运动”四位一体，带您解锁聚会会议新弄法。
两日多论坛，海内外头部企业云集，产学研用深度融会。现报名参会便可享早鸟优惠价，期待您的莅临！https://w.lwc.cn/s/Bf2iAb
-快盈VIII平台-
项目经理微信
移动版官网
