每日經(jīng)濟新聞
      要聞

      每經(jīng)網(wǎng)首頁 > 要聞 > 正文

      DeepSeek重磅披露:理論成本利潤率545%,每天GPU成本8.7萬美元

      每日經(jīng)濟新聞 2025-03-01 18:23:59

      3月1日,DeepSeek在知乎發(fā)文,揭曉V3/R1推理系統(tǒng)關(guān)鍵秘密。該系統(tǒng)通過大規(guī)模跨節(jié)點專家并行等技術(shù)策略,實現(xiàn)更大吞吐、更低延遲。同時,文章還披露其理論成本和利潤率等信息。此外,DeepSeek近期動作頻頻,2月21日宣布連續(xù)五天開源五大軟件庫,25日將DeepEP向公眾開放,短時間內(nèi)獲超千個Star收藏。

      每經(jīng)編輯|張錦河    

      3月1日,DeepSeek在知乎上發(fā)表題為《DeepSeek-V3/R1 推理系統(tǒng)概覽》的文章,全面揭曉V3/R1 推理系統(tǒng)背后的關(guān)鍵秘密。

      據(jù)文章介紹,DeepSeek-V3/R1推理系統(tǒng)的優(yōu)化目標(biāo)是更大的吞吐、更低的延遲。為了實現(xiàn)這兩個目標(biāo),DeepSeek使用了大規(guī)模跨節(jié)點專家并行(Expert Parallelism / EP)的方法,并通過一系列技術(shù)策略,最大程度地優(yōu)化了大模型推理系統(tǒng),實現(xiàn)了驚人的性能和效率。

      具體而言,在更大的吞吐的方面,大規(guī)模跨節(jié)點專家并行能夠使得batch size(批尺寸)大大增加,從而提高GPU矩陣乘法的效率,提高吞吐。

      batch size在深度學(xué)習(xí)中是一個非常重要的超參數(shù),指模型在訓(xùn)練過程中每次使用的數(shù)據(jù)量大小。它決定了每次模型更新時使用的訓(xùn)練樣本數(shù)量,調(diào)整batch size可以影響模型的訓(xùn)練速度、內(nèi)存消耗以及模型權(quán)重的更新方式。

      在更低的延遲方面,大規(guī)模跨節(jié)點專家并行使得專家分散在不同的GPU上,每個GPU只需要計算很少的專家(因此更少的訪存需求),從而降低延遲。

      但是,由于大規(guī)模跨節(jié)點專家并行會大幅增加系統(tǒng)的復(fù)雜性,帶來了跨節(jié)點通信、多節(jié)點數(shù)據(jù)并行、負載均衡等挑戰(zhàn),因此DeepSeek在文章中也重點論述了使用大規(guī)模跨節(jié)點專家并行增大batch size的同時,如何隱藏傳輸?shù)暮臅r,如何進行負載均衡。

      具體來看,DeepSeek團隊主要通過規(guī)模化跨節(jié)點專家并行、雙批次重疊策略、最優(yōu)負載均衡等方式,最大化資源利用率,保證高性能和穩(wěn)定性。

      值得注意的是,文章還披露了DeepSeek的理論成本和利潤率等關(guān)鍵信息。據(jù)介紹,DeepSeek V3 和R1的所有服務(wù)均使用英偉達的H800 GPU,由于白天的服務(wù)負荷高,晚上的服務(wù)負荷低,DeepSeek實現(xiàn)了一套機制,在白天負荷高的時候,用所有節(jié)點部署推理服務(wù)。晚上負荷低的時候,減少推理節(jié)點,以用來做研究和訓(xùn)練。

      通過時間上的成本控制,DeepSeek表示DeepSeek V3和R1推理服務(wù)占用節(jié)點總和,峰值占用為278個節(jié)點,平均占用226.75個節(jié)點(每個節(jié)點為8個H800 GPU)。假定GPU租賃成本為2美元/小時,總成本為87072美元/天;如果所有tokens全部按照DeepSeek R1的定價計算,理論上一天的總收入為562027美元/天,成本利潤率為545%。

      不過,DeepSeek也強調(diào),實際上的收入或許并沒有那么多,因為V3的定價相較于R1要更低,另外夜間還會有折扣。記者注意到,2月26日,DeepSeek在其API開放平臺發(fā)布錯峰優(yōu)惠活動通知。根據(jù)通知,北京時間每日00:30-08:30為錯峰時段,API調(diào)用價格大幅下調(diào),其中DeepSeek-V3降至原價的50%,DeepSeek-R1降至25%。DeepSeek鼓勵用戶在該時段調(diào)用,享受更經(jīng)濟更流暢的服務(wù)體驗。

      上周五(2月21日),DeepSeek宣布連續(xù)五天開源五大軟件庫。2月25日DeepSeek選擇了先在GitHub上線,然后再在官推發(fā)布上新通知。該公司25日宣布將DeepEP向公眾開放。在宣布后的約20分鐘內(nèi),DeepEP已在GitHub、微軟(MSFT.US)等平臺上獲得超過1000個Star收藏。

      據(jù)悉,DeepEP是MoE模型訓(xùn)練和推理的ExpertParallelism通信基礎(chǔ),可實現(xiàn)高效優(yōu)化的全到全通信,以支持包括FP8在內(nèi)的低精度計算,適用于現(xiàn)代高性能計算。DeepEP還針對從NVLink到RDMA的非對稱帶寬轉(zhuǎn)發(fā)場景進行了深度優(yōu)化,不僅提供高吞吐量,還支持流式多處理器數(shù)量控制,從而在訓(xùn)練和推理任務(wù)中實現(xiàn)高吞吐量性能。

      每日經(jīng)濟新聞綜合自公開信息

      免責(zé)聲明:本文內(nèi)容與數(shù)據(jù)僅供參考,不構(gòu)成投資建議,使用前請核實。據(jù)此操作,風(fēng)險自擔(dān)。

      如需轉(zhuǎn)載請與《每日經(jīng)濟新聞》報社聯(lián)系。
      未經(jīng)《每日經(jīng)濟新聞》報社授權(quán),嚴(yán)禁轉(zhuǎn)載或鏡像,違者必究。

      讀者熱線:4008890008

      特別提醒:如果我們使用了您的圖片,請作者與本站聯(lián)系索取稿酬。如您不希望作品出現(xiàn)在本站,可聯(lián)系我們要求撤下您的作品。

      DeepSeek GPU 美元

      歡迎關(guān)注每日經(jīng)濟新聞APP

      每經(jīng)經(jīng)濟新聞官方APP

      0

      0

      国产偷窥女洗浴在线观看亚洲| 亚洲国产美女精品久久久| 亚洲精品乱码久久久久蜜桃| 亚洲色欲www综合网| 久久亚洲精品视频| 国产精品亚洲产品一区二区三区| 久久综合亚洲色hezyo| 亚洲日韩AV无码一区二区三区人| 亚洲人成网男女大片在线播放| 亚洲精品国产福利在线观看| 亚洲视频一区在线| 亚洲精品第一国产综合精品| 久久久久久亚洲AV无码专区| 久久精品亚洲日本佐佐木明希| 亚洲va无码专区国产乱码| 亚洲免费视频网站| 久久久亚洲欧洲日产国码aⅴ | 亚洲熟妇色自偷自拍另类| 91精品国产亚洲爽啪在线影院| 99久久精品国产亚洲| 亚洲精品午夜在线观看| 亚洲欧洲日产国码www| 亚洲国产精品乱码在线观看97| 亚洲国产精品日韩在线| 亚洲AV综合色区无码二区偷拍| 国产成人精品日本亚洲专| 亚洲熟伦熟女专区hd高清| 亚洲国产aⅴ成人精品无吗| 亚洲av无码无线在线观看| 无码专区一va亚洲v专区在线| 亚洲精品一级无码鲁丝片| 国产亚洲精品成人AA片新蒲金| 中文亚洲AV片不卡在线观看 | 久久精品九九亚洲精品天堂| 色播亚洲视频在线观看| 亚洲制服丝袜精品久久| 亚洲色无码专区一区| 成人精品国产亚洲欧洲| 精品国产人成亚洲区| 亚洲AV无码码潮喷在线观看| 亚洲自偷精品视频自拍|