开发者社区

文档建议反馈控制台

技术百科

搜索技术百科

技术百科

发布

技术百科首页 >推理加速框架 >推理加速框架如何对外提供推理服务接口？

推理加速框架如何对外提供推理服务接口？

修改于 2026-10-21 18:16:24

4

词条归属：推理加速框架

1. OpenAI 兼容 API 成为事实标准

主流框架普遍提供与 OpenAI 对齐的接口，包括 /v1/chat/completions、/v1/completions、/v1/embeddings，并支持流式输出

2. 替换成本低

应用只需修改 API 地址即可从公有云切换到自建推理服务，实现"即插即用"的迁移

3. 托管平台的统一入口

云厂商的托管推理平台（如腾讯云 TI-ONE）同样以兼容接口暴露推理能力，并叠加弹性扩缩容与监控

相关文章

GPU 高性能推理加速框架Forward开源啦

开源深度学习编程算法

项目简介 Forward 是一款腾讯平台和内容事业群（PCG）研发的 GPU 高性能推理加速框架。它直接加载主流框架模型（Tensorflow / PyTorch / Keras）转换成 TensorRT 推理加速引擎，帮助用户节省中间繁杂的模型转换或网络构建步骤。相对于直接使用 TensorRT，Forward 更易用以及更容易扩展支持更多模型和算子。目前，Forward 除了覆盖支持主流的 CV，NLP 及推荐领域的深度学习模型外，还支持一些诸如 BERT，FaceSwap，StyleTransf

2021-03-17

1.8K0

如何基于OpenVINO加速飞桨模型推理？

打包神经网络人工智能深度学习 windows

OpenVINO是英特尔基于自身现有的硬件平台开发的一种工具套件，主要用于快速开发高性能计算机视觉及深度学习视觉的应用程序和解决方案，从而实现人类视觉模拟、自动语音识别、自然语言处理和推荐系统任务。该工具套件基于最新一代的人工神经网络，包括卷积神经网络、递归网络和基于注意力的网络，可扩展跨英特尔硬件的计算机视觉和非视觉工作负载，从而最大限度地提高性能。基于OpenVINO，可提升应用程序在CPU计算设备上的推理速度。

2021-11-17

1.7K0

vLLM中如何实现大模型推理加速技术？

大模型部署 LLM

输入三个prompt，token长度分别是：31、29、30，vllm会concat成一个长度为90个token的输入，一次跑完prefill。

2025-11-17

1.8K1

基于EAS部署triton推理服务化框架

第四期热点征文-大模型技术大模型部署

基于PAI平台的模型在线服务EAS自带的Triton镜像[eas-registry-vpc.cn-wulanchabu.cr.aliyuncs.com/pai-eas/tritonserver:25.03-py3]部署Triton；

2025-06-09

6410

微信也在用的Transformer加速推理工具 | 腾讯第100个对外开源项目

pytorch 性能测试腾讯云测试服务 NLP技术

虽然在提高模型模型精度上，Transformer发挥了不容小觑的作用，但与此同时，却引入了更大的计算量。

2020-04-26

9420

点击加载更多

词条知识树 22个知识点