XTuner
机器学习
深度学习
国外精选
XTuner是一个为大型模型（如InternLM, Llama, Baichuan, Qwen, ChatGLM）设计的高效、灵活且功能齐全的微调工具包。它支持在几乎所有GPU上进行LLM和VLM的预训练和微调，能够自动调度高性能操作，如FlashAttention和Triton内核，以提高训练吞吐量。XTuner与DeepSpeed兼容，支持多种ZeRO优化技术。它还支持各种LLMs和VLM（如LLaVA），并设计了良好的数据管道，能够适应任何格式的数据集。此外，XTuner支持多种训练算法，包括QLoRA、LoRA和全参数微调，使用户能够选择最适合其需求的解决方案。
需求人群：
"适用于需要对大型机器学习模型进行微调和优化的开发者和数据科学家。"
使用场景示例：
使用XTuner对InternLM2模型进行单GPU微调
在多节点环境中使用XTuner进行超过70B模型的微调
利用XTuner的QLoRA算法对ChatGLM3模型进行微调
浏览量：16
类似应用
