- 综合排序
- 最热优先
- 最新优先
- 来自专栏云上修行
vLLM: 加速AI推理的利器
* "npcache"将以pytorch格式加载权重并存储numpy缓存以加速加载。* "dummy"将以随机值初始化权重，主要用于性能分析。 在ROCm（AMD GPU）上，相反，支持FP8_E4M3以满足常见的推理标准。 通过减少KV缓存的使用，系统能够处理更大的负载并更快地进行推理。
3.8K10编辑于 2024-07-22 - 来自专栏往期博文
【目标检测】YOLOv5推理加速实验：TensorRT加速
前言 前两篇博文分别讨论了YOLOv5检测算法的两种加速思路：采用多进程或批量检测，不过效果均收效甚微。本问将讨论使用TensorRT加速以及半精度推理/模型量化等优化策略对检测加速的实际影响。 最新版(v7.0+) 检测策略：将整张图片直接设置img_size为(1280x1280)进行检测(忽略精度，只注重速度) 环境搭建 关于TensorRT的安装在之前博文【目标检测】使用TensorRT加速 (inference)时间确实如某些资料所述，加速了五倍以上，但预处理时间却慢了不少。 在转TensorRT模型过程中，有一些其它参数可供选择，比如，可以使用半精度推理和模型量化策略。 半精度推理即FP32->FP16，模型量化策略(int8)较复杂，具体原理可参考部署系列——神经网络INT8量化教程第一讲！
2.5K40编辑于 2023-04-12 - 来自专栏CSDN博客
微调Whisper模型和加速推理
另外项目最后还对语音识别加速推理，使用了CTranslate2加速推理，提示一下，加速推理支持直接使用Whisper原模型转换，并不一定需要微调。 python infer.py --audio_path=dataset/test.wav --model_path=models/whisper-large-v2-finetune 加速预测 众所周知 ，直接使用Whisper模型推理是比较慢的，所以这里提供了一个加速的方式，主要是使用了CTranslate2进行加速，首先要转换模型，把合并后的模型转换为CTranslate2模型。 --output_dir models/whisper-large-v2-ct2 --copy_files tokenizer.json --quantization float16 执行以下程序进行加速语音识别
3.1K30编辑于 2023-04-30 - 来自专栏机器学习AI算法工程
onnx实现对pytorch模型推理加速
ONNX Runtime是适用于Linux，Windows和Mac上ONNX格式的机器学习模型的高性能推理引擎。 ? 3.torch.nn.Module.load_state_dict:使用反序列化状态字典加载 model's参数字典 保存加载模型2种方式，在保存模型进行推理时，只需要保存训练过的模型的学习参数即可，一个常见的 如果不这样做， 将会产生不一致的推断结果 #在保存用于推理或恢复训练的通用检查点时，必须保存模型的state_dict Pytorch模型转onnx 举例模型是调用resnet50训练的4分类模型,训练过程调用 使用onnx推理预测 ?
4.9K30发布于 2021-01-27 - 来自专栏AI技术探索和应用
使用vLLM加速大语言模型推理
介绍 vLLM 是一个快速且易于使用的库，用于 LLM 推理和服务，和 HuggingFace 无缝集成。 区别于 chatglm.cpp 和 llama.cpp，仅是在 GPU 上的模型推理加速，没有 CPU 上的加速。 在吞吐量方面，vLLM 的性能比 HuggingFace Transformers （HF） 高出 24 倍，文本生成推理 （TGI） 高出 3.5 倍。 可以使用 ray 框架实现分布式推理：https://vllm.readthedocs.io/en/latest/serving/distributed_serving.html Github: https
24.4K21编辑于 2024-03-13 - 来自专栏机器学习与生成对抗网络
【骚操作】折叠Batch Normalization加速模型推理
但它在推理的时候有多少用处呢？ 一旦训练结束，每个Batch normalization层都拥有一组特定的γ和β，还有μ和σ，后者在训练过程中使用指数加权平均值进行计算。 这将删除一些不必要的参数，但也会减少推理时要执行的操作数量。 在实践中怎么做？ 用一点数学知识，我们可以很容易地重新对卷积进行排列来处理batch normalization。 两个网络都将训练5个epoch，看看参数数量和推理时间的变化。 1. VGG16 我们从训练VGG16 5个epoch开始(最终的准确性并不重要)： ? 参数的数量： ? 单个图像的初始推理时间为： ? 如果使用了batch normalization折叠，我们有： ? 以及： ? 8448个参数被去掉了，更好的是，几乎快了0.4毫秒！ 推理时间为： ? 使用batch normalization折叠后，有： ? 和： ? 现在，我们有26,560的参数被移除，更惊讶的hi，推理时间减少了1.5ms，性能一点也没降。 ?
47420发布于 2021-01-08 - 来自专栏贾志刚-OpenCV学堂
使用Batch Normalization折叠来加速模型推理
但它在推理的时候有多少用处呢？ 一旦训练结束，每个Batch normalization层都拥有一组特定的γ和β，还有μ和σ，后者在训练过程中使用指数加权平均值进行计算。 这将删除一些不必要的参数，但也会减少推理时要执行的操作数量。 在实践中怎么做？ 用一点数学知识，我们可以很容易地重新对卷积进行排列来处理batch normalization。 两个网络都将训练5个epoch，看看参数数量和推理时间的变化。 1. VGG16 我们从训练VGG16 5个epoch开始(最终的准确性并不重要)： ? 参数的数量： ? 单个图像的初始推理时间为： ? 如果使用了batch normalization折叠，我们有： ? 以及： ? 8448个参数被去掉了，更好的是，几乎快了0.4毫秒！ 推理时间为： ? 使用batch normalization折叠后，有： ? 和： ? 现在，我们有26,560的参数被移除，更惊讶的hi，推理时间减少了1.5ms，性能一点也没降。 ?
1.2K10发布于 2020-11-13 PyTorch编译缓存加速模型推理技术解析
Torch编译缓存助力推理加速某机构现已缓存torch.compile编译产物，以缩短使用PyTorch框架模型的启动时间。 torch.compile技术解析许多模型（特别是FLUX系列）应用了多种torch.compile技术和技巧来提升推理速度。首次调用编译函数时会进行代码追踪和编译，这会带来额外开销。 技术提示：在某机构对black-forest-labs/flux-kontext-dev的推理速度测试中，编译版本比未编译版本运行速度快30%以上。
28510编辑于 2025-10-29- 来自专栏PaddlePaddle
如何基于OpenVINO加速飞桨模型推理？
基于OpenVINO，可提升应用程序在CPU计算设备上的推理速度。 官方文档请访问：https://docs.openvino.ai/cn/latest/index.html 概述 本文以钢卷捆带检测项目为例，分享如何基于OpenVINO实现飞桨模型的CPU推理加速，主要包括 ： Windows及Linux平台下的OpenVINO源码编译； 如何产出飞桨模型直接用于在OpenVINO部署； 如何使用OpenVINO工具完成部署模型优化； CPU环境下的推理加速测试实验。 推理加速测试 转换后的模型可以通过OpenVINO提供的C++或Python接口实现推理功能，这里提供了一个简单的示例。 至此，基于OpenVINO实现飞桨模型的CPU推理加速就全部介绍完了。大家可结合自己具体的业务需求，按照上述步骤完成模型转换，并将模型部署至英特尔CPU计算设备上。
1.5K20发布于 2021-11-17 - 来自专栏CSDN博客
微调Whisper语音识别模型和加速推理
另外项目最后还对语音识别加速推理，使用了CTranslate2加速推理，提示一下，加速推理支持直接使用Whisper原模型转换，并不一定需要微调。 infer_tfs.py：使用transformers直接调用微调后的模型或者Whisper原模型预测，只适合推理短音频。 0.21009 0.29352 0.41506 点击下载点击下载whisper-large-v2ChineseWenetSpeech 0.05545 0.10280 0.20719 未加速和加速后的推理速度测试表 Whisper模型推理是比较慢的，所以这里提供了一个加速的方式，主要是使用了CTranslate2进行加速，首先要转换模型，把合并后的模型转换为CTranslate2模型。 --num_workers指定是使用多少个线程并发推理，这在Web部署上很重要，当有多个并发访问是可以同时推理。其他更多的参数请查看这个程序。
5.4K20编辑于 2023-06-04 - 来自专栏数据分析
PostgreSQL物化视图：加速模型推理数据准备
物化视图上创建索引-- 唯一索引（支持CONCURRENTLY刷新）CREATE UNIQUE INDEX ON user_recommend_features (user_id);-- 普通索引加速查询 特征版本对比表：版本特征数计算逻辑物化耗时查询耗时适用模型v1153基础统计45秒8ms老模型v2187增加滞后特征68秒12ms新模型v3(开发)201滞后+embedding120秒18ms实验模型5.2 推理服务集成场景 ：API服务直接查询物化视图# Flask/FastAPI推理服务from flask import Flask, jsonifyimport psycopg2app = Flask(__name__) @app.route('/predict/<int:user_id>')def predict(user_id): """ 推理API：从物化视图获取特征，调用模型 """ # : 0.85, 'latency_ms': 45 # 特征准备仅45ms（原4.2秒） })# 性能对比# 原方案：查询基表 4.2秒# 新方案：查询物化视图 45ms + 模型推理
69110编辑于 2025-12-14 - 来自专栏深度学习自然语言处理
使用Batch Normalization折叠来加速模型推理
作者：Nathan Hubens 编译：ronghuaiyang 来自：AI公园 导读 如何去掉batch normalization层来加速神经网络。 但它在推理的时候有多少用处呢？ 一旦训练结束，每个Batch normalization层都拥有一组特定的γ和β，还有μ和σ，后者在训练过程中使用指数加权平均值进行计算。 这将删除一些不必要的参数，但也会减少推理时要执行的操作数量。 在实践中怎么做？ 用一点数学知识，我们可以很容易地重新对卷积进行排列来处理batch normalization。 单个图像的初始推理时间为： ? 如果使用了batch normalization折叠，我们有： ? 以及： ? 8448个参数被去掉了，更好的是，几乎快了0.4毫秒！ 推理时间为： ? 使用batch normalization折叠后，有： ? 和： ? 现在，我们有26,560的参数被移除，更惊讶的hi，推理时间减少了1.5ms，性能一点也没降。 ?
1.4K20发布于 2020-11-19 YOLO-Maste开源：首个MoE加速加速实时检测，推理提速17.8%！
分阶段路由策略：训练时用软Top-K保证梯度流，推理时用硬Top-K实现真正的计算稀疏，兼顾稳定与高效。负载均衡监督：独创损失函数，防止专家“躺平”，确保所有专家均衡参与。 推理速度：延迟仅 1.62ms，比 YOLOv13-N 快 17.8%。密集场景优势：在目标高度重叠的SKU-110K数据集上，mAP达到 58.2%，验证了其在复杂环境下的卓越能力。 我们在训练时采用软 Top-K 路由以保持梯度流，在推理时切换到硬 Top-K 路由以实现真正的计算稀疏性。在五个大规模基准上进行综合实验表明，YOLO-Master 以卓越的效率实现了最先进的性能。
81310编辑于 2026-01-13- 来自专栏AIGC 先锋科技
推理加速策略对 LLMs 偏差的影响 !
这些加速策略通过降低推理成本和延迟，通常降低几个数量级，同时保持通过常见基准测量的预测性能。 在这项工作中，作者探讨了LLM性能的另一个关键方面：由于推理加速优化而产生的模型生成人口统计偏见。 作者的结果强调了在修改模型以加速推理后进行深入且案例化的模型偏见评估的必要性。 本论文探讨了在实施推理加速策略后，模型输出中的人口统计偏见如何变化。具体而言，作者旨在回答以下研究问题： RQ1: 某些偏见类型是否由于推理加速而更容易显现？ RQ2: 某些推理加速策略是否更容易导致偏见？ RQ3: 策略的偏见影响是否在各种模型中保持一致？作者的评估包括五种常用的推理加速技术以及三种广泛使用的LLM。 推理加速策略。 作者考虑不需要重新训练的推理时间加速技术。这种选择使作者能够在真实场景中评估用户下载预训练模型并将其应用于任务，而不需要进一步的数据或计算密集型修改。
43010编辑于 2024-11-25 - 来自专栏AI工程落地
MInference：通过动态稀疏Attention加速长文本推理
然后，他们利用动态稀疏编译器 PIT 和 Triton 构建垂直 - 斜线 FlashAttention 内核，加速注意力计算。 然后，他们使用 Triton 构建块稀疏 FlashAttention 内核，加速注意力计算。 代码整个model使用MInference推理（仅限MInference支持的模型）：from transformers import pipeline+from minference import MInferencepipe
2.1K20编辑于 2024-07-11 - 来自专栏AI工程落地
vLLM中如何实现大模型推理加速技术？
功能说明：在此之前，一般的模型服务，把多个用户的请求组成batch，一起推理，一起返回。 三次chunked推理attn_mask生成过程如下：48个token直接计算注意力，时间复杂度是48^2（16^2*9）。 再通过树注意力机制并行验证这些候选序列，主要用于推理阶段。MLPSpeculatorIBM提出的论文，https://arxiv.org/abs/2404.19124。 需要针对特定模型训练对应的MLPSpeculator模型，主要用于推理阶段。EAGLE论文链接：[width=0.06]. 主要用于训练阶段，因为小模型会获取到和大模型一样的海量数据，所以在推理阶段效果也很好，是其他投机解码方法无法比拟的。
1.4K32编辑于 2025-11-18 KubeAI大模型推理加速实践｜得物技术
以下为按时间顺序业界的一些经典大模型推理加速技术，本文试图为读者提供一个按时间发展顺序的大模型加速方法综述。 二、大模型发展面临的挑战未来大模型的参数量肯定会越来越大，这也是大模型的发展趋势，对推理加速的要求会越来越高。 但是随着模型的规模增大，大模型的推理速度将会逐渐降低，这是因为更多的参数量需要更多的GPU计算。推理速度的下降进一步带来更差的用户体验，因此如何对大模型推理加速变得越来越重要了。 大模型推理的加速方向有哪些从Llama 2模型的结构分析中，我们可以总结出大模型在推理计算过程中表现出以下特点：在整个推理过程中，最耗时的部分为注意力(Attention)计算。 随着大型模型在各个领域的应用越来越广泛，如何有效地提升推理速度、降低推理成本成为了一项挑战。我们的实践不仅展示了目前可用的一些加速技术，还基于我们的经验，推荐了几款经过评测表现优秀的大模型推理框架。
1.2K10编辑于 2024-05-21- 来自专栏FPGA技术江湖
FPGA 2025最佳论文--加速视频推理大模型
这篇论文获得了FPGA 2025最佳论文奖，是用FPGA对视频生成大模型进行加速优化，最终得到的效果非常不错。这也符合我们的预期，FPGA目前还是可以做各种工程的加速研究。 在AI领域，我们之前也写过很多篇FPGA论文的解读，也基本都是加速AI算法，这篇论文是我们写的第一篇直接对视频生成大模型的推理进行了加速。 为应对这些挑战，论文提出 FlightVGM，这是首个结合激活稀疏化和混合精度的高效 VGM 推理 FPGA 加速器。它依据 VGM 在不同维度和层的压缩偏好进行设计。 ，平均性能也提高了 2.84 倍，为 VGM 的高效推理提供了创新且有效的解决方案 。 FPGA 虽适合加速稀疏深度学习模型，可现有 FPGA 加速器处理 VGM 时吞吐量较低。
1.2K10编辑于 2025-04-02 - 来自专栏AI算法修炼营
私藏的深度学习模型推理加速项目
深度学习一般分为训练和部署两大部分。训练部分首先也是最重要的是构建网络结构，准备数据集，使用各种框架进行训练，训练要包含validation和test的过程，最后对于训练好的模型要在实际业务中进行使用。训练的操作一般在线下，实时数据来之后在线训练的情况比较少，大多数情况下数据是离线的，已经收集好的，数据更新不频繁的一天或一周一收集，数据更新频繁的可能几十分钟，在线下有大规模的集群开始对数据或模型进行更新，这样的训练需要消耗大量的GPU，相对而言一般会给一个比较大的batchsize，因为它的实时性要求相对较低，一般训练模型给的是128，甚至有些极端的1024，大的batch的好处是可以充分的利用GPU设备。
1.8K40发布于 2020-05-08 - 来自专栏相约机器人
腾讯微信团队开源推理加速工具TurboTransformers
近日，腾讯正式宣布开源 Transformer 推理加速工具 TurboTransformers。 与图像处理任务的输入常常没有变化不同，NLP 推理任务输入尺寸多个维度会存在变化。实际推理时如果通过补零或者截断整理成固定的输入尺寸，则会引入了额外补零计算开销。 它可以作为 huggingface/transformers 的推理加速插件，通过加入几行 python 代码获得的 BERT 模型的端对端加速效果。 ? 其中，微信常用问题回复服务获得 1.88 倍加速，QQ 看点推荐服务获得 13.6 倍加速等。 用户可以在 huggingface/transformers 的 BERT 实现基础上增加几行 python 代码，就可获得端到端的加速效果。
1.1K20发布于 2020-05-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号