数字报
小程序
公众号
实现从云到端生态覆盖,Day0效率追平NVIDIA原生
2026-05-29 14:37:53
来源:中国高新技术产业导报  作者: 张伟

5月25日,面壁智能正式发布并开源了新一代端侧文本基座大模型 MiniCPM5-1B。该模型以1B 参数规模在 AA-Index 榜单取得17.9分,超越 Qwen3.5-2B(16.3 分)等全部4B 以下开源基座模型,延续了面壁智能提出的“密度定律”——大模型智能密度约每3.5个月翻一番。其 Base 版本由面壁自研 AI 训练框架 ForgeTrain 预训练完成,这是全球首个完全由 AI 编写的生产级训练框架。INT4量化后权重仅0.5GB,可在手机、浏览器等90%以上终端设备运行。官方已原生支持 vLLM、SGLang、llama.cpp 等主流推理框架。

据悉,众智 FlagOS 社区基于统一多芯片软件栈,通过 vLLM-plugin-FL 推理插件完成了 MiniCPM5-1B 的跨芯片适配与推理部署 Day-0发布。此次适配覆盖英伟达、华为昇腾、平头哥、摩尔线程、海光、昆仑芯、沐曦、天数智芯 8 类数据中心 AI 加速芯片,并针对 MiniCPM5面向端侧部署的特点,首次将 Day-0适配延伸至 ARM 端侧平台。FlagOS 支持 MiniCPM5-1B 在 ARM 上以 int8、bf16、fp32三种精度运行,实现了从数据中心多款AI芯片到端侧 ARM 的“一套代码、跨架构运行”。在性能方面,多款AI芯片的首 token 延迟(TTFT)低于 NVIDIA H20原生基线,进一步验证了 FlagOS 统一软件栈在跨芯片适配和推理优化上的能力。

编辑:韩梦晨
相关阅读:
高新视频 更多
高新热榜 全部本月
编辑推荐 更多

友情链接: 政府 高新园区合作媒体

Copyright 1999-2026 中国高新网chinahightech.com All Rights Reserved.京ICP备14033264号-5

电信与信息服务业务经营许可证060344号主办单位:《中国高新技术产业导报》社有限责任公司