据《证券时报》报道,随着模型规模的扩大,推理成本和访存效率已成为限制大模型规模应用的关键瓶颈。字节跳动豆包大模型团队近期推出全新稀疏模型架构UltraMem,该架构有效解决MoE推理时高额的访存问题,推理速度较MoE架构提升两倍至六倍,推理成本最高可降低83%。
该研究还揭示新架构的Scaling Law,证明其具备优异的Scaling特性,在性能上超越了MoE。实验结果表明,训练规模达2,000万value的UltraMem模型,在同等计算资源下,可同时实现业界领先的推理速度和模型性能,为构建数十亿规模value或expert开辟新路径。(ta/da)
AASTOCKS新闻