Skywork-MoE-Base
混合专家模型
大规模参数
国外精选
Skywork-MoE-Base是一个具有1460亿参数的高性能混合专家(MoE)模型，由16个专家组成，并激活了220亿参数。该模型从Skywork-13B模型的密集型检查点初始化而来，并引入了两种创新技术：门控逻辑归一化增强专家多样化，以及自适应辅助损失系数，允许针对层特定调整辅助损失系数。Skywork-MoE在各种流行基准测试中表现出与参数更多或激活参数更多的模型相当的或更优越的性能。
需求人群：
"Skywork-MoE-Base模型适用于需要处理大规模语言模型推理的开发者和研究人员。其高性能和创新技术使其成为进行复杂文本生成和分析任务的理想选择。"
使用场景示例：
用于生成关于中国各省份省会的详细描述
进行多轮对话生成，如连续提问各省省会
快速部署用于研究和开发新的语言模型应用
浏览量：4
类似应用
