Skywork-MoE
MoE模型
大规模语言模型
国内精选
Skywork-MoE是一个具有146亿参数的高性能混合专家(MoE)模型，包含16个专家和22亿激活参数。该模型从Skywork-13B模型的密集型检查点初始化而来，并引入了两种创新技术：门控逻辑归一化增强专家多样化，以及自适应辅助损失系数允许层特定的辅助损失系数调整。Skywork-MoE在性能上与参数更多或激活参数更多的模型如Grok-1、DBRX、Mistral 8*22和Deepseek-V2相当或更优。
需求人群：
"Skywork-MoE模型适合需要处理大规模语言模型训练和推理的研究人员和开发者。它的高参数量和专家多样化技术使其在处理复杂语言任务时表现出色，同时自适应辅助损失系数的调整能力允许模型针对特定层进行优化，提高模型性能和效率。"
使用场景示例：
在C-Eval、MMLU、CMMLU等流行基准测试上的评估
使用HuggingFace进行Skywork-MoE-Base模型的推理示例
基于vLLM的Skywork-MoE-Base模型快速部署示例
浏览量：21
类似应用
