返回    放大 +    縮小 -
據傳字節跳動攻克MoE關鍵瓶頸 訓練成本再減40%
推薦
2
利好
1
利淡
1
滙港資訊
<匯港通訊> 據内媒報道,字節跳動豆包大模型團隊開源針對 MoE (混合專家)架構的關鍵優化技術COMET,可將大模型訓練效率提升1.7倍,成本節省40%。

據悉,該技術已實際應用於字節的萬卡集群訓練,累計幫助節省了數百萬 GPU 小時訓練算力。

#字節跳動 #大模型 (CW)
新聞來源 (不包括新聞圖片): 滙港資訊