“預(yù)訓(xùn)練”是AI大模型學(xué)習(xí)中的一種方法,指的是通過海量的數(shù)據(jù),訓(xùn)練一個(gè)大模型。訓(xùn)練時(shí)需要大量的數(shù)據(jù)和算力支持,每次迭代可能耗資數(shù)百萬至數(shù)億美元。
官方技術(shù)論文披露,DeepSeek-V3在預(yù)訓(xùn)練階段僅使用2048塊GPU訓(xùn)練了2個(gè)月,且只花費(fèi)557.6萬美元。這個(gè)費(fèi)用是什么概念?
據(jù)報(bào)道,GPT-4o的模型訓(xùn)練成本約為1億美元。簡單粗暴地說,這相當(dāng)于DeepSeek-V3比同等性能的AI大模型,降了十幾倍的成本。
早在2024年5月,深度求索發(fā)布DeepSeek-V2時(shí),就曾因給模型的定價(jià)太過于便宜,開啟了中國大模型的價(jià)格戰(zhàn),被稱之為“AI界的拼多多”。
“相比于說它是‘拼多多’,它更像小米,貼近成本定價(jià),并且自產(chǎn)自銷?!瘪R千里認(rèn)為,訓(xùn)練成本比較低的原因,離不開深度求索團(tuán)隊(duì)自研的架構(gòu)和算力,他們自身的算力儲(chǔ)備可以與大廠比肩,并且更注重底層的模型。
“ChatGPT走的是大參數(shù)、大算力、大投入的路子,DeepSeek-V3的路徑用了更多的巧思,依托數(shù)據(jù)與算法層面的優(yōu)化創(chuàng)新,從而高效利用算力,實(shí)現(xiàn)較好的模型效果?!瘪R千里說道。
籃球直播網(wǎng)提供NBA直播、NBA在線直播、NBA直播吧、NBA直播無插件、NBA視頻免費(fèi)在線觀看、NBA錄像回放、NBA視頻以及籃球直播、CBA直播、西甲直播、足球直播等,我們努力做最好的體育直播網(wǎng)。
Copyright ? 2021-2024 24直播網(wǎng). All Rights Reserved. 遼ICP備18019234號(hào)-1