<p class="pgc-img"><img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BB1k9ytv"></p> <p>当地时间3月18日，人工智能（AI）芯片龙头厂商英伟达在<span>美国加州圣何塞</span>召开了GTC2024大会，正式发布了面向下一代数据中心和人工智能应用的“核弹”——基于Blackwell架构的B200 GPU，<span>将在计算能力上实现巨大的代际飞跃，预计将在今年晚些时候正式出货。</span>同时，英伟达还带来了Grace Blackwell GB200超级芯片等。</p> <p class="pgc-img"><img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BB1k9w5w"></p> <p><span>英伟达创始人兼CEO黄仁勋，</span><span>英伟达</span><span>目前按照每隔2年的更新频率，升级一次GPU构架，进一步大幅提升AI芯片的性能。<span>两年</span><span>前推出的H</span><span>opper构架GPU虽然已经非常出色了</span><span>，但我们需要更强大的GPU。</span></span></p> <p class="pgc-img"><img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BB1k9ytC"></p> <p><strong><span><span>B200：2080亿个晶体管，<span>FP</span><span>4</span></span></span>算力高达 4<span>0 </span><span>petaflops</span></strong></p> <p><span>英伟达</span><span>于2022年发布了采用Hopper构架的H100 GPU之后，开始引领了全球AI市场的风潮。</span><span>此次推出的采用Blackwell构架的B200性能将更加强大，更擅长处理AI相关的任务。</span><span>而Blackwell构架则是以数学家David Harold Blackwell的名字命名。</span></p> <p>据介绍，B200 GPU基于台积电的N4P制程工艺（这是上一代Hopper H100和Ada Lovelace架构GPU使用的N4工艺的改进版本），晶体管数量达到了2080亿个，是H100/H200的800亿个晶体管两倍多。这也使得B200的人工智能性能达到了20 petaflops。</p> <p>黄仁勋表示，Blackwell构架B200 GPU的AI运算性能在FP8及新的FP6上都可达20 petaflops，是前一代Hopper构架的H100运算性能8 petaflops的2.5倍。在新的FP4格式上更可达到40 petaflops，是前一代Hopper构架GPU运算性能8 petaflops的5倍。具体取决于各种Blackwell构架GPU设备的內存容量和频宽配置，工作运算执行力的实际性能可能会更高。黄仁勋强调，而有了这些额外的处理能力，将使人工智慧企业能够训练更大、更复杂的模型。</p> <p>但是，需要指出的是，<span>B200并不是传统意</span><span>义上的单一GPU。</span><span>相反，它由两个紧密耦合的GPU芯片组成。尽管根据英伟达的说法，它们确实可以作为一个统一的CUDA GPU。</span><span>这两个芯片通过10 TB/s的NV-HBI（英伟达高带宽接口）连接连接，以确保它们能够作为一个完全一致的芯片正常工作。</span></p> <p class="pgc-img"><img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BB1k9Hsf"></p> <p class="pgc-img"><img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BB1k9ytQ"></p> <p>同时，对于人工智能计算来说，HBM容量也是极为关键。AMD MI300X之所以被广泛关注，除了其性能大幅提升之外，其所配备的容量高达192GB HBM（高带宽内存）也是非常关键，相比英伟达H100 SXM芯片的80GB高了一倍多。而为了弥补HBM容量的不足，虽然英伟达也推出了配备141GB HBM的H200，但是仍大幅落后于AMD MI300X。<span>而此次英伟达推出的</span><span>B2</span><span>00则配备了同样的</span><span>192GB </span><span>HBM3e内存，可</span><span>提供</span><span>8 TB/s的带宽，弥补了这一薄弱环节。</span></p> <p><span>虽然英伟达尚未提供关于<span>B</span><span>200</span>确切的芯片尺寸，</span>从曝光的照片来看，<span>B200将使用两个全掩模尺寸的芯片</span><span>，</span><span>每个管芯周围有四个HMB3e堆栈</span><span>，每个</span><span>堆栈为24GB，每个堆栈在1024 bit接口上具有1TB/s的带宽。</span></p> <p><span>需要指出的是，H100采用的是6个HBM3堆栈，每个堆栈16GB（H200将其增加到6个24GB），这意味着H100管芯中有相当一部分专门用于六个HBM内存控制器。而B200</span><span>通过将每个芯片内部的HBM内存控制器接口<span>减少</span><span>到四个</span>，并将两个芯片连接在一起，这样可以相应地减少HBM内存控制器接口所需的管芯面积，可以将更多的晶体管用于计算。</span></p> <p><strong><span>支持全新FP4/FP6格式</span></strong></p> <p>基于Blackwell架构的B200通过一种新的FP4数字格式达到了这个数字，其吞吐量是Hopper H100的FP8格式的两倍。因此，如果我们将<span>B200与H100</span>坚持使用FP8算力来比较，
乐天堂B200仅提供了比H100多2.5倍的理论FP8计算（具有稀疏性），
乐天堂其中很大一部分原因来自于B200拥有两个计算芯片。<span>对于H100和B200都支</span><span>持的</span><span>大多数的</span><span>数字格式，
乐天堂</span><span>B200最终在理论上每</span><span>芯片算力提升了</span><span>1.25倍。</span></p> <p><span><span>再</span><span>次回到4NP工艺节点在密度方面缺乏大规模改进的问题上。</span></span><span>移除两个HBM3接口，
乐天堂并制作一个</span><span>稍大的芯片可能意味着B200在</span><span>芯片级的计算密度上甚</span><span>至不会显</span><span>著更</span><span>高。当然，
乐天堂两个芯片之间的NV-HB</span><span>I接口也会占用一些管芯面积。</span></p> <p>英伟达还提供了B200的其他数字格式的原始计算值，并应用了通常的缩放因子。因此，FP8的吞吐量是FP4吞吐量的一半（10 <span>p</span><span>etaflops</span>级），FP16/BF16的吞吐量是5 <span>p</span><span>etaflops</span>级的一半，TF32的支持是FP16的一半（2.5 <span>p</span><span>etaflops</span>级）——所有这些都具有稀疏性，因此密集操作的速率是这些速率的一半。同样，在所有情况下，算力可以达到单个H100的2.5倍。</p> <p><span>那么F</span><span>P64的算力又如何呢？</span><span>H100被评定为每GPU可提供60万亿次的密集FP64计算。</span><span>如果B2</span><span>00具有与其他格式类似的缩放比例，则</span><span>每个双芯片GPU将具有150万亿次浮点运算。</span><span>但是，实际上，<span>B2</span><span>00</span>的FP64性能有所下降，每个GPU约为45万亿次浮点运算。</span><span>但这也需要一些澄清，因为GB200超级芯片将是关键的构建块之一。</span><span>它有两个B200 GPU，可以进行90万亿次的密集FP64计算，与H100相比，其他因素可能会提高经典模拟的原始吞吐量。</span></p> <p class="pgc-img"><img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BB1k9Hso"></p> <p><span>另外，就使用FP4而言，英伟达有一个新的第二代Transformer Engine，它将帮助用户自动将模型转换为适当的格式，以达到最大性能。</span><span>除了支持FP4，
乐虎Blackwell还将支持一种新的FP6格式，这是一种介于FP4缺乏必要精度但也不需要FP8的情况下的解决方案。</span><span>无论结果的精度如何，英伟达都将此类用例归类为“专家混合”（MoE）模型。</span></p> <p><span><strong>GB200<span>超级芯片</span></strong></span></p> <p>英伟达还推出了<span><span>GB200超级芯片，它基于两个<span>B200 GPU，外<span>加一个Grace CPU，也就是说，<span>GB200超级芯</span><span>片的理论算力将会达到40 <span>p</span><span>etaflops，<span>整个超级芯片的可配置TDP高达2700W。</span></span></span></span></span></span></span></p> <p class="pgc-img"><img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BB1k9FsV"></p> <p class="pgc-img"><img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BB1k9AYi"></p> <p>黄仁勋也进一步指出，包含了两个Blackwell GPU和一个采用Arm构架的Grace CPU的<span>B200，其</span>推理模型性能比H100提升30倍，成本和能耗降至了原来的1/25。</p> <p>除了<span>GB200超级芯</span><span>片之外，英伟达还带来了面向服务器的解决方案</span><span>HGX B200，它基于在单个服务器节点中使用八个B200 GPU和一个x86 CPU（可能是两个CPU）。</span><span>这些TDP配置为每个B200 GPU 1000W，GPU可提供高达18 <span>p</span><span>etaflops</span>的FP4吞吐量，因此从纸面上看，它比GB200中的GPU慢10%。</span></p> <p>此外，还有HGX B100，它与HGX B200的基本架构相同，有一个x86 CPU和八个B100 GPU，只是它被设计为与现有的HGX H100基础设施兼容，并允许最快速地部署Blackwell GPU。因此，每个GPU的TDP被限制为700W，与H100相同，吞吐量降至每个GPU 14 <span>p</span><span>etaflops</span>的FP4。</p> <p>值得注意的是，在这三款芯片当中，HBM3e的每个GPU的带宽似乎都是8 TB/s。因此，只有功率，以及GPU核心时钟，也许还有核心数上会有不同。但是，英伟达尚未透露任何Blackwell GPU中有多少CUDA内核或流式多处理器的细节。</p> <p><strong><span>第五代NVLink和NVLink Switch 7.2T</span></strong></p> <p><span>人工智能和HPC工作负载的一大限制因素是不同节点之间通信的多节点互连带宽。随着GPU数量的增加，通信成为一个严重的瓶颈，可能占所用资源和时间的60%。在推出B200的同时，英伟达还推出其第五代NVLink和NVLink Switch 7.2T。</span></p> <p>新的NVLink芯片具有1.8 TB/s的全对全双向带宽，支持576 GPU NVLink域。它也是基于台积电N4P节点上制造的，拥有500亿个晶体管。该芯片还支持芯片上网络计算中的3.6万亿次Sharp v4，这有助于高效处理更大的模型。</p> <p class="pgc-img"><img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BB1k9AYk"></p> <p class="pgc-img"><img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BB1k9HsB"></p> <p>上一代<span>NVSwitch</span>支持高达100 GB/s的HDR InfiniBand带宽，是一个巨大飞跃。而与H100多节点互连相比，全新的NVSwitch提供了18X的加速。这将大大提高万亿参数模型人工智能网络的可扩展性。</p> <p>与此相关的是，每个Blackwell GPU都配备了18个第五代NVLink连接。这是H100链接数量的18倍。每条链路提供50 GB/s的双向带宽，或每条链路提供100 GB/s的带宽。</p> <p><strong>GB200 NVL72服务器</strong></p> <p>英伟达还针对有大型需求的企业提供服务器成品，提供完整的服务器解决方案，例如GB200 NVL72服务器，提供了36个CPU和72个Blackwell构架GPU，并完善提供一体水冷散热方案，可实现总计720 petaflops的AI训练性能或1，440 petaflops的推理性能。它内部使用电缆长度累计接近2英里，共有5，000条独立电缆。</p> <p class="pgc-img"><img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BB1k9yue"></p> <p class="pgc-img"><img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BB1k9w5Z"></p> <p class="pgc-img"><img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BB1k9JQL"></p> <p><span>具体来说，<span>GB200 NVL72 </span>基本上是一个完整的机架式解决方案，有18个1U服务器，每个服务器都有两个GB200超级芯片。</span><span>然而，在GB200超级芯片的组成方面，与上一代相比存在一些差异。</span></p> <p>曝光<span>图片和规格表明，两个B200 GPU与一个Grace CPU匹配，而GH100使用了一个较小的解决方案，将一个GraceCPU与一个H100 GPU放在一起。</span><span>最终结果是，GB200超级芯片计算</span><span>托盘将具有两个Grace CPU和四个B200 GPU，具有80 </span><span>p</span><span>etaflops</span><span>的FP4 AI推理和40 PB的FP8 AI训练性能。</span><span>这些是液冷1U服务器，它们占据了机架中典型的42个单元空间的很大一部分。</span></p> <p>除了GB200超级芯片计算托盘，GB200 NVL72还将配备NVLink交换机托盘。这些也是1U液冷托盘，每个托盘有两个NVLink交换机，每个机架有九个这样的托盘。每个托盘提供14.4 TB/s的总带宽，加上前面提到的Sharp v4计算。</p> <p>GB200 NVL72总共有36个Grace CPU和72个Blackwell GPU，FP8运算量为720 PB，FP4运算量为1440 PB。有130 TB/s的多节点带宽，英伟达表示NVL72可以处理多达27万亿个AI LLM参数模型。</p> <p class="pgc-img"><img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BB1k9HsK"></p> <p><span>目前，亚马逊的AWS已计划采购由2万片GB200芯片组建的服务器集群，可以部署27万亿个参数的模型。</span><span>除了亚马逊的AWS之外，DELL、Alphabet、Meta、微软、OpenAI、Oracle和TESLA成为Blackwell系列的采用者之一。</span></p> <p><span>编辑：芯智讯-浪客剑</span></p>
同学们挥毫泼墨郑州镭光灯具，书写楹联送祝福，将新春祝福送给全体师生。
！
