随着生成式AI、预测式AI的浪潮一波高过一波,工作负载的类型越来越丰富、复杂度越来越高,对于AI服务器性能、能效的需求也是水涨船高。
每每说到AI服务器、AI工作站、AI一体机等装备,很多人的第一反应就是高算力的AI GPU加速器。
它确实是整个AI系统的主角,承担着最繁重的使命,但是别忘了,只有GPU加速器是无法独自支撑整个系统的,而任何计算系统都离不开CPU处理器的坐镇。

CPU处理器作为任何计算系统的中枢和大脑,在AI系统中也起着不可替代的作用,只是一贯比较低调罢了。
如果说GPU加速器是AI系统中在台前炫技的耀眼明星,CPU处理器就是隐藏幕后、默默风险的大管家,协调着整个系统的高效运行,尤其是保障GPU加速器的各项需求可以得到全面满足,强大的算力可以高效释放。因此,这个时候的CPU处理器,我们一般称之为“主控CPU”。
采用最合适、匹配的主控CPU搭档AI加速器,组成高效的AI加速系统,可以在工作负载性能、总体拥有成本(TCO)之间,达到理想的平衡。

在AI加速系统中,主控CPU负责通过提供高效的任务管理,以及出色的预处理性能,来优化处理性能和资源利用率,这对于确保AI模型训练流程中的数据高效供给、维持AI处理器的理想运行状态,都是至关重要的。
主控CPU作为AI加速系统的“中枢神经”,可以执行管理、优化、预处理、处理、卸载等各种任务,从而提高系统性能和能效。
Intel的至强系列处理器,尤其是最新一代至强经系列,无论是根据各种AI基准测试,还是根据全球客户的实际部署经验,都可以说是强大、高效AI加速系统的主控CPU的理想之选。
NVIDIA最新、最强的DGX
B300系统,就选择了Intel新款至强6776P来作为主控CPU,而去年的MGX系统曾使用至强6767——Intel也是NVIDIA唯一的主控CPU合作伙伴。

至强6为何如此之强?
我们可以从六个不通过方向,逐一看看AI加速系统对主控CPU的需求,以及至强6系列是如何满足的。
1、AI加速系统需要非常强大、灵活的IO性能。
至强6系列可以支持多达96条PCIe
5.0通道,比上代增加了20%,双路系统就是192条,因此带宽超高、数量管够,可以灵活分配给不同的加速器、扩展卡。
2、AI加速系统需要尽可能高的单线程性能。
至强6系列不但拥有最多128个性能核心、504MB海量三级缓存,还具备强大的单线程性能,并支持不同的睿频加速技术。
比如PCT(优先核心睿频),可以把少部分核心加速到更高的频率来服务相应的GPU,最多支持8个核心。
比如SST,可以针对不同的核心配置分配不同的频率,使其拥有不同的性能。
3、AI加速系统需要尽可能高的内存容量与带宽。
至强6系列不但支持更高频率的DDR5-6400,还独家率先支持MRDIMM内存,频率可高达8800MHz,带宽进一步提升30%,对比上代领先2.3倍,对于内存敏感性AI负载尤其有利。
再加上多达12个内存通道,至强6系列可提供无与伦比的内存带宽与容量,单路系统最高支持3TB。
NVIDIA DGX B300系统,就选择了每通道两条DIMM(2LDPC)、5200MHz频率的方案,主要是为了实现更大的内存容量。
另外,至强6系列还支持CXL,可保持CPU内存空间与AI加速器内存之间的一致性,实现高性能资源共享,降低整体系统成本。
4、AI加速系统需要CPU做好数据预处理和卸载。
至强6系列支持AMX(高级矩阵扩展)指令,新增支持FP16数据格式,非常适合这项工作,尤其是随着MoE、MLP模型的出现和流行,在CPU上卸载部分工作越来越流行。
5、AI加速系统需要强大的RAS。
RAS指的是可靠性、可用性、可维护性,对于工作站、服务器、数据中心硬件是必不可少的属性,至强6当然也少不了,有了它就可以大大减少大规模停机时间,避免高额损失。
RAS技术支持多项高级管理功能,包括遥测、平台监控、共享资源控制、实时固件更新等,汇聚了平台合作伙伴、ISV独立软件开发商、解决方案集成商的丰富专业知识与经验。
6、AI加速系统需要灵活的形态。
至强6系列支持DC-MHS全球标准,无论是NVIDIA MGX还是DGX,双方都有合作,最新的就是DGX
B300,由双方共同打造,开展了大量的技术验证工作。

至强6系列家族中,有三款特殊型号是专门用于主控CPU的。
它们均基于P核即性能核的设计,目前的主控CPU均是如此,未来是否会有E核即能效核设计,还要观察市场需求的变化。
其中,NVIDIA DGX B300采用的是至强6776P,并且是双路配置。
至强6776P配置了64个核心(128线程),基准频率2.3GHz,全核睿频3.6GHz,最大睿频3.9GHz,PCT睿频可以在最多8个核心上跑到4.6GHz,比传统SKU再次提高了多达700MHz。
另外,它配备336MB缓存,支持八通道DDR5-6400、MRDIMM-8000内存,可提供88条PCIe 5.0通道,热设计功耗350W。
这里解释一下几种不同的睿频频率:
全核睿频即All Core
Turbo,是指所有核心处于活跃状态时,所能运行的最高频率,适合作为虚拟机等场景,此时需要每一个核心跑在尽可能高的性能上。
最大睿频即Max Turbo,是在传统SKU中能够达到最高的睿频,它假设一半核心活跃、另一半核心休眠,活跃核心就能够运行在更高的频率,也就是Max
Turbo对应的频率。
优先核心睿频即Priority Core
Tubo,是指只开启更少量的核心,一般2-8个,让它们进一步加速到更高的频率,从而以更高的性能,满足AI加速系统中GPU、I/O等的苛刻需求,避免出现系统瓶颈。
至于使用哪些核心进行加速,可以在启动前使用BIOS设定,也可以在运行中通过SST-TF工具实时设定。
更低端的至强6774P也是64核心,除了基准频率提高到2.5GHz,与至强6776P最大的不同就是仅支持单路但可提供多达136个IO通道,扩展经更加强悍。
更高端的至强6962P拥有72核心144线程、432MB缓存,基准频率就有2.7GHz,全核睿频也是3.6GHz,最大睿频也是3.9GHz,PCT睿频则是4.4GHz。
它还支持12通道内存,可提供96个PCIe通道,热设计功耗来到了500W。
以上三款都是面向所有客户的开放产品,属于产品规划和路线图的一部分,未来不排除根据市场需求或者客户定制化需求,推出更多产品。

刚才多次提高到NVIDIA DGX B300 AI加速系统,这就是它的总览图,属于高端的DGX,专为AI训练等应用而生。
它配备了双路至强6776P主控CPU处理器,彼此通过UPI高速总线互连,每路都是最多8个PCT睿频核心,客户在使用的时候可以根据需要定制选择8个、6个、4个或2个核心用于PCT睿频。
每一路至强6776P之下,通过两个NIC高速网卡,连接四块AI GPU,整个系统就是八块AI GPU,彼此通过NVLink高速总线互连。
这套系统在选择主控CPU时采取了比较平衡的设计,但性能依然是业界领先的,I/O性能、RAS性能等等也都很均衡,无疑是个理想的选择。

当然,我们知道,NVIDIA AI加速系统中已经普遍使用自行研发的Grace CPU处理器,来搭配AI GPU加速器。
事实上,目前市场上,许多AI系统提供商都在使用自研主控CPU来配合AI GPU。
从Intel的角度来看,其服务方向是为客户提供更多选择,而且作为开放系统,始终秉持开放态度,为主控CPU提供最佳选择,以满足客户的多样化需求。
NVIDIA DGX
B300产品选择了Intel至强6作为主控CPU,而且这并非测试或者试验产品,而是一款商业化的成熟产品,无疑是对Intel至强产品性能和兼容性的有力认可。
使用本站資源的用戶均應仔細閱讀本聲明。用戶使用本站資源的行為將被視為對本聲明全部內容的認可。
1、本站資源大部分搜集於網路,整理分類並分享。用戶可自行搜索在其他地方下載,也可選擇在本站下載。如果侵犯了您的合法權益,請聯繫:1479715313@qq.com 及時刪除。本站資源僅用於研究、學習之用,若使用商業用途,請購買正版授權,否則產生的一切後果將由下載用戶自行承擔。
2、本站對發佈的資源不能保證其完整性、安全性和可用性。請您在下載後自行檢查。您在使用過程中遇到的任何問題與本站無關。
3、註冊本站以及在本站充值、開通會員等消費行為僅作為用戶本人對本站的友情贊助,均為用戶本人的自願行為。相當於您是自願贊助本站的伺服器以及日常運營維護費用,而不是購買本站的任何服務與資源,請知悉!!!
4、本站資源資源採用網盤分享,如鏈接失效,請及時聯繫。
5、本站另提供各種軟件插件技術維護,與廣告行銷社交行銷等服務:
可定制個人和中小企業搭建網站,小程式,APP,遊戲等各種互聯網應用軟體,國内外各社交媒體平臺運營工具素材與課程,幫助您超快搭建高性價比的數字化場景,請聯係QQ;1479715313(添加請説明來意),TG電報:https://t.me/vip_3qyyds,郵件1479715313@qq.com
Users who use the resources of this website should read this statement carefully. The user's use of the resources of this site will be regarded as the recognition of all the contents of this statement.
1. Most of the resources of this site are collected on the Internet, sorted and shared. Users can search for it and download it elsewhere, or choose to download it on this site. If your legitimate rights and interests are violated, please contact: 1479715313@qq.com to delete it in a timely manner. The resources of this site are only used for research and learning, if you use commercial purposes, please purchase the genuine licence, otherwise all the consequences will be borne by the download user.
2. This site cannot guarantee the integrity, security and availability of the published resources. Please check it yourself after downloading. Any problems you encounter during use have nothing to do with this site.
3. The consumption behaviours such as registering this site, recharging on this site, and opening a membership are only used as the user's own friendly sponsorship of the site, and are all voluntary behaviours of the user. It is equivalent to that you are voluntarily sponsoring the server and daily operation and maintenance costs of this site, rather than purchasing any services and resources of this site, please be aware!!
4. The resources of this site are shared by the network disk, if the link is invalid, please contact us in time.
5. This site also provides a variety of software plug-in technical maintenance, advertising and marketing, social marketing and other services:
We can customise various Internet application software such as websites, applets, apps, games, etc., as well as operating tools and courses of various social media platforms at home and abroad to help you build cost-effective digital scenes super quickly, please contact QQ; 1479715313 (add please help to meaning), TG telegram: https://t.me/vip_3qyyds, mail 1479715313@qq.com
このウェブサイトのリソースを使用するユーザーは、この声明を注意深く読む必要があります。 ユーザーがこのサイトのリソースを使用することは、この声明のすべての内容を認識したものと見なされます。
1.このサイトのほとんどのリソースは、インターネット上に収集され、分類され、共有されています。 ユーザーはそれを検索して他の場所でダウンロードするか、このサイトでダウンロードすることを選択できます。 お客様の正当な権利と利益が侵害された場合は、1479715313@qq.com に連絡して、適時に削除してください。 このサイトのリソースは、商業目的を使用する場合は、本物のライセンスを購入してください、それ以外の場合は、すべての結果はダウンロードユーザーが負担する、研究と学習のためにのみ使用されます。
2. 当サイトは、公開されたリソースの完全性、安全性、および可用性を保証するものではありません。 ダウンロード後、ご自身でご確認ください。 使用中に発生した問題は、このサイトとは関係ありません。
3.このサイトの登録、このサイトでのリチャージ、メンバーシップの開設などの消費行動は、サイトに対するユーザー自身の友好的なスポンサーシップとしてのみ使用され、すべてユーザーの自発的な行動です。 これは、このサイトのサーバーや日々の運用保守費用を自発的にスポンサーしているのと同等であり、このサイトのサービスやリソースを購入するのではなく、注意してください!!
4.このサイトのリソースはネットワークディスクによって共有されていますが、リンクが無効な場合は、時間内にご連絡ください。
5.このサイトでは、さまざまなソフトウェアプラグインの技術保守、広告とマーケティング、ソーシャルマーケティング、その他のサービスも提供しています。
私たちは、ウェブサイト、アプレット、アプリ、ゲームなどのさまざまなインターネットアプリケーションソフトウェアだけでなく、国内外のさまざまなソーシャルメディアプラットフォームの操作ツールやコースをカスタマイズして、費用対効果の高いデジタルシーンを超高速で構築することができます、QQにお問い合わせください。 1479715313(意味に助けをください)、TG電報:https://t.me/vip_3qyyds、メール 1479715313@qq.com