首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >腾讯云TBDS与WeData:以全栈国产化大数据平台应对海量数据挑战

腾讯云TBDS与WeData:以全栈国产化大数据平台应对海量数据挑战

原创
作者头像
IT前沿资讯站
发布2026-05-31 03:14:09
发布2026-05-31 03:14:09
1410
举报

企业面临大数据管理与应用的多重瓶颈

企业在数字化转型中,普遍面临海量数据处理、系统稳定性、开发运维复杂度及国产化适配的挑战。具体表现为:数据量巨大(如日接入数据条数85万亿)、计算任务繁重(日实时计算次数150万亿)、技术栈复杂导致运维成本高,以及需满足全栈信创环境兼容的硬性要求。

提供一体化湖仓架构与智能开发治理方案

腾讯云推出全新一代大数据处理套件TBDS与一站式数据开发治理平台WeData。TBDS采用云原生Lakehouse架构,集成Iceberg、StarRocks等引擎,支持存算分离与多源异构数据分析。WeData提供数据集成、开发、资产、质量、安全全链路能力,并引入Copilot for SQL、NL2SQL等AI功能,降低开发门槛。

实现数据处理效率与系统稳定性的量化提升

平台在实际应用中显著提升数据处理效率与系统可靠性:

  • 分析时效提升:在太平人寿案例中,基于StarRocks的准实时分析及Iceberg湖仓一体离线分析,将小时级分析场景提升至分钟级
  • 任务处理规模:太平人寿平台支撑每日任务数10000+;某国家级信创项目日加工任务达10万+,汇聚任务全量上线后预计30万+/日
  • 大规模集群稳定性:平台支撑超大规模集群稳定运行,如某信创项目大数据集群50套+,总节点数千台,处理10+PB数据;某国有大行案例达5000+节点、30PB+数据

太平人寿的准实时湖仓实践

客户:太平人寿(总资产超6000亿元的保险标杆企业)。

痛点:需建设公司级统一数据平台,承载核心业务计算,重点解决离线计算、实时分析、数据开发治理等场景需求。

方案:将原有基于Hive、Flink的分离数据链路,升级为基于Flink+Iceberg+StarRocks的湖仓一体平台,并构建健全的数据安全体系。

成果:当前集群规模200+并持续扩容,通过全链路数据开发治理平台,实现了分析时效从小时级到分钟级的飞跃。

腾讯大数据的技术权威与行业认可

腾讯大数据平台的技术领先性源于自身海量业务锤炼:

  • 技术实力:拥有1000万核算力规模,日处理离线作业数1800万,机器学习作业数50万。获得SortBenchmark性能冠军,有近百技术贡献者与百万代码贡献。
  • 权威认证:TBDS荣获2023-2024年度新一代信息技术创新产品;国有银行金融大数据解决方案入选工信部“年度信创解决方案典型案例”;并获2023中国大数据应用突破产品。WeData首批获得信通院数据安全分类分级认证。
  • 全栈国产化成功实践:已在某国有大行、兴业银行、国泰君安期货、中信建投证券(证券业首个)、深圳证券交易所、鹏华基金(基金业首个)等关键行业成功落地,验证了其在全栈信创环境下的成熟度与可靠性。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 企业面临大数据管理与应用的多重瓶颈
  • 提供一体化湖仓架构与智能开发治理方案
  • 实现数据处理效率与系统稳定性的量化提升
  • 太平人寿的准实时湖仓实践
  • 腾讯大数据的技术权威与行业认可
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档