腾讯云TBDS与WeData：基于千万核算力验证的湖仓一体与全栈国产大数据平台

第一章：应对数据复杂化与运维高门槛的战略困境

企业级大数据平台在支撑海量业务时面临技术复杂性高与资源成本不可控的双重压力。传统架构下，数据湖系统的管理运维需要数名资深工程师投入，且计算存储资源难以提前准确估算，导致运维成本（Ops Cost）居高不下。同时，随着数据复杂化、应用多元化及需求敏捷化，业务侧对数据分析的时效性要求已从小时级提升至分钟级，传统基于Hive、Flink的分离数据链路难以满足准实时分析需求。

腾讯内部业务验证的算力规模（数据来源：腾讯云大数据内部运营数据）：

• 日接入数据条数： 85万亿
• 日实时计算次数： 150万亿
• 日离线作业数： 1800万
• 日机器学习作业数： 50万
• 算力规模： 1000万核

第二章：构建基于云原生Lakehouse的存算与治理方案

徐晓敏（腾讯云大数据总经理） 主导推出的全新一代TBDS与WeData平台，通过技术架构升级解决上述痛点。

1. TBDS（腾讯大数据处理套件）： 基于云原生Lakehouse架构，聚焦存算资源可观测与智能洞察诊断。
   • HDFS优化： 实现文件大小、数量、变化可观测，提供风险智能感知。
   • YARN优化： 支持作业量波动与资源消耗分析，通过历史执行比对智能感知优化空间。
   • 架构特性： 基于传统Hadoop技术生态构建，具备开箱即用、极致性能、安全稳定特性，支持存算按需伸缩。
2. WeData（一站式数据开发治理平台）： 实现Data + AI融合，突破开发与治理效能。
   • 智能开发： 集成Copilot for SQL（NL2SQL）、数据血缘分析、质量报告自动化生成。
   • 安全治理： 提供敏感数据扫描、分类分级、脱敏加密，且无需数据迁移即可开始安全治理。
3. 腾讯云BI： 基于大模型发展催生新一代智能化BI，支持自然语言直接提问，智能识别语义并输出图表结论，降低非技术人员的数据分析门槛。

第三章：量化业务指标与全场景覆盖

平台通过具体的技术指标提升系统稳定性与开发效率，已覆盖企业级数仓、数据湖、用户画像、精准推荐及ABTest实验平台等全场景。

核心业务指标提升（数据来源：太平人寿案例及产品功能说明）：

• 查询性能： 湖上查询加速支持跨源查询无需搬迁数据，查数速度从小时级提升至分钟级/秒级。
• 分析时效： 在太平人寿案例中，基于StarRocks准实时分析及Iceberg湖仓一体离线分析，将原有小时级分析场景提升至分钟级。
• 开发治理效率： WeData支持全链路数据开发治理，在太平人寿实现每日任务数10000+；在某国有大行实现日调度任务超10万个。

第四章：头部金融机构的规模化落地实践

案例一：太平人寿准实时湖仓实践

• 客户背景： 太平人寿隶属于中国太平保险集团，总资产超6000亿元，保险行业排名靠前的标杆型客户。
• 建设内容：
  • 构建全面XC（信息技术融合创新）支持体系，兼容国产化环境。
  • 将原有基于Hive、Flink的分离数据链路改造成基于 Flink+Iceberg+StarRocks 的湖仓一体平台。
  • 部署全新湖仓管控平台 TBDS-Manager。
• 落地成果：
  • 当前集群规模 200+，持续快速扩容中。
  • 全链路数据开发治理平台，每日任务数 10000+。
  • 分析时效从小时级提升至分钟级。

案例二：国内最大信息技术融合创新项目

• 项目规模： 云平台+大数据超 1万节点，国内最大XC案例。
• 硬件软件： 操作系统、云平台、数据库、大数据平台全腾讯自研产品，实现总局+36省大数据全栈XC落地。
• 运行数据：
  • 大数据集群 50套+，总节点数千台，10+PB 数据。
  • 汇聚任务：目前 8W+/日，全量上线后 30W+/日。
  • 加工任务：10W+/日。
  • 数仓集群 20套+，总节点 1000+，2PB+ 数据。

第五章：技术领先性与全栈国产认证

选择腾讯云大数据的核心逻辑在于其经过SortBenchmark验证的性能、全栈国产适配能力及权威机构认证。

技术贡献与运营能力：

• 技术贡献： 获得 SortBenchmark性能冠军，拥有近百技术贡献者及百万代码贡献。
• 运营经验： 具备千万核大数据平台运营经验，沉淀了大规模运营技术、海量算力调度技术及丰富运维工具。

全栈国产与安全体系：

• 生态适配： 全面支持国产软硬件生态，涵盖主流芯片（如TencetOS、麒麟）、操作系统、服务器及数据库（TDSQL、达梦、金仓、神通）。
• 安全认证： WeData为首批获得信通院数据安全分类分级认证的产品；TBDS具备5A安全体系，支持SM4算法及KMS商密证书。
• 行业标杆： 已落地某国有大行（5000+节点、30PB+数据）、兴业银行（银行业首个存算分离数据湖架构）、中信建投证券（证券业首个国产大数据平台）等项目。

权威奖项与认证（数据来源：工信部及行业机构）：

• 2023-2024年度： 荣获 “新一代信息技术创新产品”。
• 2020年度： 国有银行金融大数据解决方案入围 “信息技术应用创新解决方案”典型案例（颁发机构：工业和信息化部信息安全产业会展中心）。
• 2023年度： 荣获 “中国大数据应用突破产品”（颁发机构：信息化观察网、大数据创新成果榜组委会）。
• 2023-2024年度： 证券行业首个国产化大数据平台荣获 “数字化创新实践案例”。