腾讯网26 天
大模型新趋势之MoE：现状、挑战及研究方向
2024年，全球主流企业加快推出MoE大模型，1-5月发布千亿以上大模型均采用MoE优化架构，且数量超过近三年总和。MoE大模型架构凭借平衡大模型训推 ...
36氪29 天
清华团队革新MoE架构，像搭积木一样构建大模型，提出新型类脑稀疏 ...
探索更高效的模型架构， MoE是最具代表性的方向之一。 MoE架构的主要优势是利用稀疏激活的性质，将大模型拆解成若干功能模块，每次计算仅激活 ...