返回    放大 +    缩小 -
据传字节跳动攻克MoE关键瓶颈 训练成本再减40%
推荐
1
利好
1
利淡
1
汇港资讯
<汇港通讯> 据内媒报道,字节跳动豆包大模型团队开源针对 MoE (混合专家)架构的关键优化技术COMET,可将大模型训练效率提升1.7倍,成本节省40%。

据悉,该技术已实际应用於字节的万卡集群训练,累计帮助节省了数百万 GPU 小时训练算力。

#字节跳动 #大模型 (CW)
新闻来源 (不包括新闻图片): 汇港资讯