很多朋友不知道【端侧部署!高通携手阶跃、无量火与江波龙达成合作】,今天小绿就为大家解答一下。
此次合作的核心技术路径,是混合专家(MoE)架构与存储方案的联合优化。StepEdge-Omni 30B-MoE模型拥有300亿参数,但依托MoE架构,仅根据任务需要激活部分专家模块,每次生成一个词元仅需激活约30亿参数,大幅降低了实际计算负载和内存带宽需求。版权所有,未经许可不得转载 合作方通过推理引擎、异构调度及存储方案的协同优化,使模型运行时的内存需求较行业常规方案降低超过50%,并支持在智能手机上稳定运行。在高端内存成本居高不下的当下,这一方案让大参数MoE模型在端侧的规模化部署成为现实。 业内分析认为,大参数MoE模型在手机端的部署,有助于推动低时延和隐私保护型智能体应用的发展。与云端智能体相比,端侧方案在响应速度、数据隐私和离线可用性方面具有天然优势。不过,其实际规模化应用仍取决于终端成本、功耗、模型可靠性及用户接受度等多重因素。 【CNMO科技消息】9月23日,在2026骁龙峰会期间,高通技术公司正式宣布携手阶跃、无量火与江波龙开展四方合作,基于第六代骁龙8超级至尊版移动平台,将阶跃StepEdge-Omni 30B-MoE(混合专家)模型面向端侧进行深度适配与推理优化,成功打造具备自主服务和个性化能力的端侧智能体助手,并在峰会现场完成基于高通参考设计的现场演示。
高通公司总裁兼CEO安蒙 测试数据显示,该端侧方案的预填充吞吐性能超过每秒330个Token,解码吞吐性能超过每秒28个Token。预填充吞吐性能是大语言模型推理预填充阶段的关键指标,直接反映系统处理长提示词和批量请求的能力,超330 Token/s的水平意味着端侧模型能够流畅处理复杂的智能体任务输入。
第六代骁龙8超级至尊版移动平台 高通表示,该方案无需调用云端服务,即可在本地完成邮件理解、行程规划、日历同步、航班及酒店推荐、行程分享和邮件草拟等多项任务。这意味着用户数据全程留存于设备端,在实现智能体主动服务的同时,提供了更强的隐私保护。
以上问题已经回答了。如果你想了解更多,请关新经网网站 (https://www.xinhuatone.com/)
端侧部署!高通携手阶跃、无量火与江波龙达成合作
2026-09-23 06:40:53 来源:新经网 作者:冯思韵
郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。
