每經編輯｜畢陸名

3月24日晚，DeepSeek發布了模型更新——DeepSeek-V3-0324。本次更新為DeepSeek V3模型的版本更新，并非市場此前一直期待的DeepSeek-V4或R2。目前，其開源版本已上線Hugging Face。據悉，其開源版本模型體積為6850億參數。

同日，DeepSeek在其官方交流群宣布稱，DeepSeek V3模型已完成小版本升級，歡迎前往官方網頁、App、小程序試用體驗（關閉深度思考），API接口和使用方式保持不變。

此前于2024年12月發布的DeepSeek-V3模型曾以“557.6萬美金比肩Claude 3.5效果”的高性價比著稱，其多項評測成績超越了Qwen2.5-72B和Llama-3.1-405B等其他開源模型，并在性能上和世界頂尖的閉源模型GPT-4o以及Claude-3.5-Sonnet不分伯仲。但截至目前，還沒有任何關于新版DeepSeek-V3的能力基準測試榜單出現。

其后，DeepSeek于2025年1月發布了性能比肩OpenAI o1正式版的DeepSeek-R1模型，該模型在后訓練階段大規模使用了強化學習技術，在僅有極少標注數據的情況下，極大提升了模型推理能力。

V3是一個擁有6710億參數的專家混合模型（Moe），其中370億參數處于激活狀態。

在傳統的大模型中，通常會采用密集的神經網絡結構，模型需要對每一個輸入token都會被激活并參與計算，會耗費大量算力。

此外，傳統的混合專家模型中，不平衡的專家負載是一個很大難題。當負載不均衡時，會引發路由崩潰現象，這就好比交通擁堵時道路癱瘓一樣，數據在模型中的傳遞受到阻礙，導致計算效率大幅下降。

為了解決這個問題，常規的做法是依賴輔助損失來平衡負載。然而，這種方法存在一個弊端，那就是輔助損失一旦設置過大，就會對模型性能產生負面影響，就像為了疏通交通而設置過多限制，卻影響了整體的通行效率。

DeepSeek對V3進行了大膽創新，提出了輔助損失免費的負載均衡策略，引入“偏差項”。在模型訓練過程中，每個專家都被賦予了一個偏差項，它會被添加到相應的親和力分數上，以此來決定top-K路由。

此外，V3還采用了節點受限的路由機制，以限制通信成本。在大規模分布式訓練中，跨節點的通信開銷是一個重要的性能瓶頸。通過確保每個輸入最多只能被發送到預設數量的節點上，V3能夠顯著減少跨節點通信的流量，從而提高訓練效率。

根據國外開源評測平臺kcores-llm-arena對V3-0324最新測試數據顯示，其代碼能力達到了328.3分，超過了普通版的Claude 3.7 Sonnet（322.3），可以比肩334.8分的思維鏈版本。

每日經濟新聞綜合公開信息

免責聲明：本文內容與數據僅供參考，不構成投資建議，使用前請核實。據此操作，風險自擔。

封面圖片來源：每日經濟新聞