开发者社区

文档建议反馈控制台

技术百科

搜索技术百科

技术百科

发布

技术百科首页 >推理加速框架 >推理加速框架在边缘设备和移动终端有哪些应用？

推理加速框架在边缘设备和移动终端有哪些应用？

修改于 2026-10-21 18:19:02

5

词条归属：推理加速框架

1. 本地化部署

llama.cpp、Ollama 等框架可在手机、PC 上运行经 GGUF 量化的模型，实现本地推理

2. 端侧性能进展

面向资源受限设备的推理框架（如 PowerInfer 系列）通过稀疏激活与异构计算，让数十亿至数百亿参数模型在手机上达到可用推理速度

3. 隐私与离线价值

端侧推理无需上传数据，兼顾隐私保护；在无网络环境下仍可提供服务，适用于移动办公、车载、智能硬件等场景

相关文章

模型压缩+编译器优化，使AI算法在移动端性能超越专用硬件

fpga 机器学习神经网络深度学习人工智能

近年来，机器学习(Machine Learning)领域的研究和发展可谓是与日俱新，各式各样与机器学习相关的研究成果与应用层出不穷（如图像识别，自动驾驶，语音识别等），机器学习能够处理的任务也愈发的复杂。但与此同时，新的问题也随之而来，机器学习模型变得更加庞大复杂，因实时性而对算力所产生的需求也远远超乎了我们的想象。这一问题严重阻碍了人工智能（AI）产品及应用融入到人们的日常生活中，因此亟待解决。

2020-09-07

1.8K0

业界 | 高通成立AI研究部整合AI能力，骁龙™710移动平台发布

人工智能大数据

大数据文摘作品记者：魏子敏 5月24日，人工智能创新论坛现场，高通（Qualcomm）对近期在人工智能上的布局进行了一次大盘点。除了几个重磅产品的发布，在合作生态和部门职能设置上，也全面配合人工智能的战略，进行了相关调整。先来看看这几个新消息：与创通联达合作推出Turbo X，加速下一代人工智能驱动的终端发展；推出基于10纳米制程工艺打造的全新Qualcomm®骁龙™710移动平台；携手网易有道推动实现终端侧人工智能应用创新体验；与百度PaddlePaddle展开合作探索终端侧人工智能应用；

大数据文摘

2018-05-24

9500

边缘计算的总体思考

7月4日，在2019百度AI开发者大会上，百度携手三大运营商、浪潮、英特尔等联合发布了百度AI边缘计算行动计划和《AI边缘计算技术白皮书》，白皮书系统阐述了5G时代边缘计算与AI结合的广阔应用场景，以及技术策略。本文为白皮书的第一部分“边缘计算的总体思考”。

2019-07-12

1.4K0

【AI系统】推理流程全景

本文介绍神经网络模型在部署态中的两种方式：云侧部署和边缘侧部署。其中，云侧部署适用于云服务器等具备强大计算能力和存储空间的环境，可以实现高吞吐量和集中的数据管理，但可能面临高成本、网络延迟和数据隐私等挑战。

2024-12-02

2.5K0

从“云端独大”到“端云协同”：2026年边缘AI推理架构与模型压缩实战

腾讯智慧建筑 AI 能效 AI 创意营销工企 AI 媒体 AI

2026年7月，随着具身智能、车载座舱、工业质检等场景对实时性与隐私性的要求达到临界点，AI算力部署正经历一场深刻的“重心下沉”。据Counterpoint Research最新发布的《2026边缘AI芯片与软件栈市场报告》显示，全球边缘AI推理市场规模首次超越云端训练市场，其中端侧模型部署量同比增长320%。与此同时，高通、联发科、苹果及国产芯片厂商纷纷推出专为Transformer优化的NPU架构，TensorRT-LLM、ONNX Runtime Mobile、MLC-LLM等推理框架在移动端实现了7B参数模型30 Token/s以上的流畅生成。行业共识已然清晰：在物理世界与数字世界深度融合的时代，AI不能永远住在云上。低延迟、高隐私、弱网可用的边缘推理能力，已成为智能终端的“新操作系统”。这标志着AI应用正式从“中心化服务”迈入“分布式认知”的新纪元。

2026-07-03

8960

点击加载更多

词条知识树 22个知识点