腾讯云TI平台TI-ONE：面向实战的大模型精调与推理平台

原创

IT资讯研究所

发布于 2026-05-30 07:02:36

7630

来源：2025腾讯云城市峰会·上海峰会，分享人：刘翃（腾讯云TI平台资深产品经理）

腾讯云TI平台TI-ONE 是一个面向实战的大模型精调部署平台，其核心定位是为具备一定算法知识和开发能力的AI工程师提供工具，以更高效率精调并部署可真正落地的大模型。

核心差异化卖点：

TI-ONE 主要服务于AI工程师及企业技术团队，解决大模型落地过程中的不同阶段痛点：

阶段	目标受众	核心痛点	TI平台价值
启动阶段	技术决策者/开发者	不知如何基于R1蒸馏模型；开源框架繁多难选；资源分散，准备周期长。	内置蒸馏方案，开箱即用；内置全系模型，一键精调/部署；免费体验，快速验证。
探索期	AI工程师	验证效果链路长；算力空闲多，ROI低；机型差异大，选型难。	工具链易上手；统一资源纳管，灵活腾挪算力；配置自主可控，快速验证。
稳定期	运维/管理人员	故障多，无法长时间稳定运行；规模扩大后人/物管理难度高；业务量变化导致服务调整难。	故障感知修复+监控，高可用；细致的资源级权限管控；一键多副本，线性扩缩容。

TI-ONE 构建了“实用工具链 + 强大内核”的技术架构，支撑上层应用（如知识引擎、数智人、智能客服等）。

前端应用层：支持知识引擎、数智人、智能客服、DeepSeek联网助手等。
模型服务层：
- 支持 DeepSeek系列模型、腾讯云精调知识大模型、混元系列模型。
- 支持 客户专属模型（全参/LoRA SFT、蒸馏）。
- 接口规范：兼容OpenAI接口规范，支持私有API（公网、VPC）。
底层算力：X86+ARM异构算力纳管，支持多厂商AI芯片管理和调度。

上下文长度：支持 128K tokens 长上下文多轮交互。
数据资源：内置 100+场景 的精调配比数据。
评测体系：提供 3阶段 模型效果评测。
推理加速：内置自研 Angel推理加速框架（业内第一梯队效果），支持 INT4量化、EP多专家并行、MPF并行解码加速。

背景：某客户在AI搜索场景中，表格检索、数据库检索效果不佳，答案准确率期望进一步提升。
解决方案：集成R1优化阅读理解能力，同时使用DeepSeek coder训练Text2SQL模型。
成效：
- 提供中间思考过程，提升答案准确率5%以上。
- 支持 128K tokens 长上下文多轮交互。
- 表格检索和数据库检索的效果提升6%以上。

背景：V3/R1原模型指令遵循弱，导致不按内部文档库回答（如忽略业务场景过度推理、超出已知内容时根据模型自身知识回答）。
解决方案：结合指令遵循和阅读理解数据对V3/R1进行SFT/DPO训练。
成效：
- 回答安全可控，不做过度推理。
- 精调前：模型自行推断“型号A保修期为一年”（基于B系列文档推测）。
- 精调后：模型明确回复“已知材料中未明确提及G产品型号A的保修期限”，并引导用户查阅官网或致电技术支持（严格基于文档）。
- 推理过程：精调后模型推理过程简洁高效，直接定位标准（如GB_T 20626.1-2017），不再进行无依据的发散联想。

背景：V3/R1指令遵循能力较差，表现为“不听话”，难以在REACT框架下执行复杂指令。
解决方案：
- 方案一：利用R1长思维链，借助Instruct模型（如qwen2.5-72B-Instruct、LLaMA 3.3-70B-Instruct）给出最终答案。
- 方案二：结合Agent关注的指令遵循能力数据集使用SFT、DPO/GRPO微调R1或R1蒸馏版模型。
成效：
- 方案一效果：结合R1思维链后，Instruct模型可在现有REACT框架下无痛升级。基准测试显示，原生Instruct模型（llama3.3-70B）指令遵循平均分达 0.699139，显著高于未经优化的蒸馏R1模型（0.544372）。
- 方案二效果：使用数据飞轮技术针对性构建指令遵循训练集，微调效果已得到确认（+3.6% 提升），预期微调R1或R1蒸馏版模型有类似效果。