开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >专栏 >Silero VAD 从 PyTorch 迁移到 ONNX Runtime：一次边缘会议前处理模块的性能优化实录

Silero VAD 从 PyTorch 迁移到 ONNX Runtime：一次边缘会议前处理模块的性能优化实录

作者头像

社会的拿破仑

发布于 2026-09-01 19:34:14

发布于 2026-09-01 19:34:14

40

举报

概述

一场两小时的会议，不可能两小时都有人持续讲话。等待参会人、翻 PPT、查资料、中场休息、讨论停顿都会产生大量无效音频。

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

智能硬件 AI 语音助手

目录

一、为什么一个很小的VAD，也值得单独优化？

二、原来的PyTorch路径其实没有问题

三、一个VAD服务为什么最后带上了一整套PyTorch？
- 第一类：安装包明显比模型本身重
- 第二类：ARM和特殊平台更麻烦
- 第三类：VAD其实不需要GPU

四、为什么最后选ONNX Runtime？

五、真正迁移其实只改了一个参数

六、第一件要确认的事：两个后端结果是否一致

七、采样率这里非常容易留下历史坑

八、流式会议不能每次都创建一个ONNX Session

九、PyTorch和ONNX到底差多少？先统一测试口径

十、迁移前后性能对比

十一、为什么边缘设备上“依赖体积”甚至比推理速度重要？

十二、甚至可以把Python都去掉

十三、ONNX Runtime也不是装完就一定最快

十四、上线以后还有一个隐藏问题：CPU抢占

十五、迁移之后怎样接回会议系统？

十六、一个更合理的模块边界应该是这样

十七、迁移时最值得注意的几个坑
- 1. 不要同时修改模型版本和推理后端
- 2. 不要只比较速度，不比较切分结果
- 3. 不要把threshold直接抄别人的
- 4. 流式会议结束后一定要reset state

十八、为什么这次没有直接把VAD并进ASR服务？

十九、PyTorch路径还要不要保留？

二十、总结：一个260K的小模型，也值得认真设计推理路径