破局，強強攜手激活CPU AI算力
近日，紫光股份旗下新華三集團攜手英特爾，推出基于第四代英特爾®至強®可擴展處理器的H3C UniServer R6900 G6大模型微調(diào)及推理解決方案，充分釋放CPU的AI算力，降低了AI訓(xùn)練及推理場景所需的基礎(chǔ)設(shè)施總體擁有成本，使中小企業(yè)能夠迅速融入AGI的革新潮流。
該方案可滿足7B、13B、30B、34B等大模型微調(diào)和推理的不同參數(shù)量級，通過檢索增強生成技術(shù)（Retrieval-Augmented Generation，RAG），可達到與通用大模型接近的理想效果，從而快速實現(xiàn)面向特定領(lǐng)域的AI應(yīng)用落地部署。
革新，四大技術(shù)開辟AGI新天地
H3C UniServer R6900 G6服務(wù)器大模型微調(diào)及推理解決方案，成功展示了基于中等參數(shù)量級（34B及以下）大模型的微調(diào)和推理能力。其得益于四大重要技術(shù)突 破：
-
英特爾第四代至強平臺加速大模型的訓(xùn)練和推理能力
第四代英特爾®至強®可擴展處理器內(nèi)置的英特爾®AMX加速引擎是面向深度學(xué)習(xí)工作負載的新一代技術(shù)。該技術(shù)不僅延續(xù)了上一代英特爾至強可擴展處理器的內(nèi)置AI加速技術(shù)，還帶來性能提升，非常適合自然語言處理、推薦系統(tǒng)和圖像識別等工作負載。英特爾®AMX可提高平鋪乘法性能，提升吞吐量，使用PyTorch進行實時推理和訓(xùn)練，相比上一代處理器提升了3-10倍的推理和訓(xùn)練性能。
-
新華三集團四路服務(wù)器突破單機算力瓶頸
在微調(diào)場景下，部署NVMe硬盤的數(shù)量決定了應(yīng)用性能的高低。H3C UniServer R6900 G6四路服務(wù)器單機可部署32塊NVMe硬盤，采用高帶寬低延遲的UPI互聯(lián)方案，能夠?qū)崿F(xiàn)CPU算力的高速橫向倍增。這意味著可在一個節(jié)點上完成所有的計算任務(wù)，從而完全避免了分布式訓(xùn)練帶來的各種問題，助力客戶的微調(diào)應(yīng)用。
-
微調(diào)場景下CPU突破顯存限制
以Llama-2 30B模型為例，在進行16位浮點數(shù)訓(xùn)練時，如果訓(xùn)練批量大小被設(shè)定為16并且使用Adam優(yōu)化器，估算需要600GB左右的顯存才能成功完成30B模型的LoRA微調(diào)。傳統(tǒng)GPU的方案無論是成本還是供應(yīng)能力，都給中小企業(yè)帶來了挑戰(zhàn)。H3C UniServer R6900 G6服務(wù)器可提供高達16TB的內(nèi)存容量，相比于GPU方案，能夠減少顯存壓縮和多卡間數(shù)據(jù)通信的消耗，從而完成微調(diào)訓(xùn)練任務(wù)，打破顯存限制。
-
突破現(xiàn)有生態(tài)的限制
此外，英特爾還提供了一系列基于PyTorch框架的軟件優(yōu)化措施。這些優(yōu)化被集成在英特爾的IPEX（Intel® Extension for PyTorch）開源軟件庫中，旨在進一步提升模型的性能和效率。生態(tài)體系層面，IPEX配合PyTorch，支持PyTorch框架下90%的主流模型，其中深度優(yōu)化模型有50個以上?？蛻糁灰ㄟ^簡單幾步即可完成BF16混合精度轉(zhuǎn)換，模型即可在保持精度的同時在CPU上部署。
得益于成功的生態(tài)合作和技術(shù)突破，H3C UniServer R6900 G6大模型微調(diào)及推理解決方案已在多種尺寸的模型中進行了性能測試，充分驗證了性能實力。
數(shù)字定義世界，AI定義未來。隨著數(shù)實融合趨勢的不斷加速，新華三集團將秉持“精耕務(wù)實，為時代賦智慧”的理念，持續(xù)攜手包括英特爾在內(nèi)的合作伙伴，為百行百業(yè)客戶提供多樣化的智算產(chǎn)品與方案，以“一體·兩中樞”的智慧計算體系，不斷推進AI產(chǎn)業(yè)的變革升級。
