PowerInfer-2
智能手机
大型模型
国外精选
PowerInfer-2是一个为智能手机特别优化的推理框架，支持高达47B参数的MoE模型，实现了每秒11.68个token的推理速度，比其他框架快22倍。它通过异构计算和I/O-Compute流水线技术，显著减少了内存使用，并提高了推理速度。该框架适用于需要在移动设备上部署大型模型的场景，以增强数据隐私和性能。
需求人群：
"目标受众为需要在移动设备上部署大型语言模型的开发者和企业。他们可以利用PowerInfer-2的高速推理能力，开发出性能优越、数据隐私保护更强的移动应用。"
使用场景示例：
移动应用开发者使用PowerInfer-2在智能手机上部署个性化推荐系统
企业利用PowerInfer-2在移动设备上实现客户服务自动化
研究机构使用PowerInfer-2在移动设备上进行实时语言翻译和交互
浏览量：6
类似应用
