據(jù)證券時(shí)報(bào)5月30日消息，近日，華為在MoE模型訓(xùn)練領(lǐng)域再進(jìn)一步，推出參數(shù)規(guī)模高達(dá)7180億的全新模型——盤古Ultra MoE，這是一個(gè)全流程在昇騰AI計(jì)算平臺(tái)上訓(xùn)練的準(zhǔn)萬(wàn)億MoE模型。華為同時(shí)發(fā)布盤古Ultra MoE模型架構(gòu)和訓(xùn)練方法的技術(shù)報(bào)告，披露眾多技術(shù)細(xì)節(jié)，充分體現(xiàn)了昇騰在超大規(guī)模MoE訓(xùn)練性能上的跨越。

據(jù)悉，訓(xùn)練超大規(guī)模和極高稀疏性的MoE模型極具挑戰(zhàn)，訓(xùn)練過(guò)程中的穩(wěn)定性往往難以保障。針對(duì)這一難題，盤古團(tuán)隊(duì)在模型架構(gòu)和訓(xùn)練方法上進(jìn)行了創(chuàng)新性設(shè)計(jì)，成功地在昇騰平臺(tái)上實(shí)現(xiàn)了準(zhǔn)萬(wàn)億MoE模型的全流程訓(xùn)練。

圖片來(lái)源：每日經(jīng)濟(jì)新聞 資料圖

券商中國(guó)報(bào)道，業(yè)內(nèi)人士分析，華為盤古Ultra MoE和盤古Pro MoE系列模型的發(fā)布，證明華為不僅完成了國(guó)產(chǎn)算力+國(guó)產(chǎn)模型的全流程自主可控的訓(xùn)練實(shí)踐，同時(shí)在集群訓(xùn)練系統(tǒng)的性能上也實(shí)現(xiàn)了業(yè)界領(lǐng)先。這意味著國(guó)產(chǎn)AI基礎(chǔ)設(shè)施的自主創(chuàng)新能力得到了進(jìn)一步驗(yàn)證，為中國(guó)人工智能產(chǎn)業(yè)的發(fā)展提供了一顆“定心丸”。

國(guó)產(chǎn)算力與國(guó)產(chǎn)模型重大突破

據(jù)悉，訓(xùn)練超大規(guī)模和極高稀疏性的MoE模型極具挑戰(zhàn)，訓(xùn)練過(guò)程中的穩(wěn)定性往往難以保障。針對(duì)這一難題，華為盤古團(tuán)隊(duì)在模型架構(gòu)和訓(xùn)練方法上進(jìn)行了創(chuàng)新性設(shè)計(jì)，成功地在昇騰平臺(tái)上實(shí)現(xiàn)了準(zhǔn)萬(wàn)億MoE模型的全流程訓(xùn)練。

在模型架構(gòu)上，盤古團(tuán)隊(duì)提出Depth-Scaled Sandwich-Norm（DSSN）穩(wěn)定架構(gòu)和TinyInit小初始化的方法，在昇騰平臺(tái)上實(shí)現(xiàn)了超過(guò)18TB數(shù)據(jù)的長(zhǎng)期穩(wěn)定訓(xùn)練。此外，他們還提出了EP loss負(fù)載優(yōu)化方法，這一設(shè)計(jì)不僅保證了各個(gè)專家之間的能保持較好的負(fù)載均衡，也提升了專家的領(lǐng)域特化能力。同時(shí)，盤古Ultra MoE使用了業(yè)界先進(jìn)的MLA和MTP架構(gòu)，在預(yù)訓(xùn)練和后訓(xùn)練階段都使用了Dropless訓(xùn)練策略，實(shí)現(xiàn)了超大規(guī)模MoE架構(gòu)在模型效果與效率之間的最佳平衡。

在訓(xùn)練方法上，華為團(tuán)隊(duì)首次披露在昇騰CloudMatrix 384超節(jié)點(diǎn)上，高效打通大稀疏比MoE強(qiáng)化學(xué)習(xí)（RL）后訓(xùn)練框架的關(guān)鍵技術(shù)，使RL后訓(xùn)練進(jìn)入超節(jié)點(diǎn)集群時(shí)代。同時(shí)，在5月初發(fā)布的預(yù)訓(xùn)練系統(tǒng)加速技術(shù)基礎(chǔ)上，在不到一個(gè)月的時(shí)間內(nèi)，華為團(tuán)隊(duì)又完成了一輪迭代升級(jí)，包括：適配昇騰硬件的自適應(yīng)流水掩蓋策略，進(jìn)一步優(yōu)化算子執(zhí)行程序，進(jìn)一步降低Host-Bound以及提升EP通信的掩蓋；自適應(yīng)管理內(nèi)存優(yōu)化策略的開發(fā)；數(shù)據(jù)重排實(shí)現(xiàn)DP間Attention負(fù)載均衡；以及昇騰親和的算子優(yōu)化，這些技術(shù)實(shí)現(xiàn)萬(wàn)卡集群預(yù)訓(xùn)練MFU由30%大幅提升至 41%。

此外，近期發(fā)布的盤古Pro MoE大模型，在參數(shù)量?jī)H為720億、激活160億參數(shù)量的情況下，通過(guò)動(dòng)態(tài)激活專家網(wǎng)絡(luò)的創(chuàng)新設(shè)計(jì)，實(shí)現(xiàn)了以小打大的優(yōu)異性能，甚至可以媲美千億級(jí)模型的性能表現(xiàn)。在業(yè)界權(quán)威大模型榜單SuperCLUE最新公布的2025年5月排行榜上，位居千億參數(shù)量以內(nèi)大模型排行并列國(guó)內(nèi)第一。

業(yè)內(nèi)人士分析，華為此舉的核心意義在于，證明了在國(guó)產(chǎn)AI算力平臺(tái)（昇騰）上，能夠高效、穩(wěn)定地訓(xùn)練并優(yōu)化達(dá)到國(guó)際頂尖水平的超大規(guī)模稀疏模型（MoE），實(shí)現(xiàn)了從硬件到軟件、從訓(xùn)練到優(yōu)化、從基礎(chǔ)研究到工程落地的“全棧國(guó)產(chǎn)化”和“全流程自主可控”的閉環(huán)，并在關(guān)鍵性能指標(biāo)上達(dá)到業(yè)界領(lǐng)先水平。

DeepSeek、騰訊大模型也有新消息

除了華為以外，其他國(guó)產(chǎn)大模型近日也傳來(lái)新消息。

5月29日凌晨，DeepSeek-R1-0528正式在Hugging Face平臺(tái)開源。此前一日（5月28日），DeepSeek官方宣布DeepSeek-R1模型已完成小版本試升級(jí)，用戶可通過(guò)官方網(wǎng)頁(yè)、App、小程序進(jìn)行測(cè)試（打開深度思考），API接口和使用方式保持不變。

在此次更新中，模型代碼能力的提升最為顯著。知名代碼測(cè)試平臺(tái)LiveCodeBench顯示，更新后的R1性能可以媲美OpenAI o3模型的高版本。

除代碼能力外，R1新版本模型的文本理解與推理能力亦實(shí)現(xiàn)跨越式升級(jí)。其上下文長(zhǎng)度拓展至128k，長(zhǎng)文本提取的準(zhǔn)確率也有顯著提升。

另?yè)?jù)央廣網(wǎng)，5月21日，在2025騰訊云AI產(chǎn)業(yè)應(yīng)用峰會(huì)上，騰訊大模型戰(zhàn)略首次全景亮相，從自研的混元大模型、到AI云基礎(chǔ)設(shè)施，再到智能體開發(fā)工具、知識(shí)庫(kù)以及面向場(chǎng)景的應(yīng)用，騰訊大模型矩陣產(chǎn)品全面升級(jí)。騰訊正通過(guò)持續(xù)打磨技術(shù)和產(chǎn)品能力，為企業(yè)和用戶在大模型時(shí)代打造真正“好用的 AI”。

騰訊集團(tuán)高級(jí)執(zhí)行副總裁、云與智慧產(chǎn)業(yè)事業(yè)群CEO湯道生表示，隨著AI的持續(xù)落地，每個(gè)企業(yè)都將成為AI公司；每個(gè)人都將是AI加持的“超級(jí)個(gè)體”。

每日經(jīng)濟(jì)新聞綜合自證券時(shí)報(bào)、券商中國(guó)、央廣網(wǎng)、每日經(jīng)濟(jì)新聞（記者：宋欣悅）

免責(zé)聲明：本文內(nèi)容與數(shù)據(jù)僅供參考，不構(gòu)成投資建議，使用前請(qǐng)核實(shí)。據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。