AI搜索技术大会：腾讯云 ES 千亿级混合检索架构演进（Scaling Hybrid Search to Hundred-Billion Scale）

报告基础信息

• 报告标题：Scaling Hybrid Search to Hundred-Billion Scale（千亿级规模重塑 Hybrid Search -- 从检索算法到系统架构 / 腾讯云 ES 千亿级混合检索架构演进）
• 发布机构：腾讯云（Tencent Cloud / 腾讯云 elastic）
• 发布时间：AI搜索技术大会分享材料（具体大会日期未标明；材料引证社区评价与贡献统计有效期涵盖至 2024年8月）
• 行业标签：技术服务
• 产品标签：#腾讯云ES #SearchAIEngine #DiskBBQ #Slice-DiskBBQ #Filtered-DiskBBQ #SOAR #OnlineSchemaEvolution

方法论说明

• 研究方法：结合定性分析与定量分析。定性层面基于千亿级生产挑战推导架构演进路径；定量层面通过 QPS、内存占用、索引耗时等硬指标验证架构效能。
• 样本规模与调研对象：基于 100B+ 生产规模集群（覆盖大规模知识库、广告推荐、安全风控场景）及 Elasticsearch / Lucene 开源社区 codebase 进行验证与观测。
• 核心分析模型：Search AI Engine 总体架构（涵盖数据索引、AI Context 组装、推理重排等模块）；DiskBBQ Search Pipeline 执行框架（空间裁剪 + 向量压缩 + 高精重排）。
• 数据库来源与调研时间范围：Elasticsearch / Lucene 社区开源仓库（PR 统计至 2024年8月）；生产环境验证数据来源于腾讯云内部超大规模线上部署集群。

权威背书

• 社区代码贡献排名：在 Elasticsearch / Lucene 的 PR Creators Top 10 Companies 榜单中，Tencent 以 0.31% 份额位列第 2，累计提交 260+ 技术 PRs，仅次于 Elastic（7.64%），领先于其他国际厂商（如 Amazon 0.23%、Microsoft 0.23%）。
• 社区专家与机构评价：
  • 2019年9月，Elastic 社区指出由腾讯开发者提出的改进使特定 Elasticsearch 操作写入速度提升约 20%。
  • 2024年8月，Elastic 社区领导力公开表示腾讯云在中国社区扮演重要角色，并期待 Search AI 时代持续同行。
  • Contributor Chris Hegarty 针对腾讯云贡献的 Native Scoring 代码（Elasticsearch #154373）评价为影响显著的实质性修复。

报告目录

• Chapter II · Scaling Hybrid Search to Hundred-Billion Scale
  • Community Innovation (DiskBBQ)
  • Production Challenges (When DiskBBQ Meets Production)
  • Tencent Innovation 01: LOAD LESS (Slice-DiskBBQ)
  • Tencent Innovation 02: SCAN LESS (Filtered-DiskBBQ)
  • Tencent Innovation 03: STORE LESS·SCORE FASTER (SOAR Dedup + Native Scoring)
  • Tencent Innovation 04: EVOLVE ONLINE (Online Schema Evolution)
  • Chapter II · Recap: From Innovation to Production (Innovated at Scale, Proven in Production, Contributed Upstream)
• Chapter III · The Next Frontier: Beyond Scale (The Next Search AI Architecture)

报告背景和目标

传统搜索返回文档，Search AI 提供可直接消费的 Context。在 100B+ 生产规模下，10B×1536D 向量检索内存开销高达 4.16 TB，文本与向量独立遍历及 Schema 全量重建等局部效率问题被放大为架构级约束。本报告旨在阐述腾讯云如何通过系列系统架构创新，在超大规模下实现混合检索的高性能与低成本，并推动技术反哺开源生态。

核心观点

• 痛点一：内存与规模矛盾。量化向量无法全量常驻内存。
  • 解决方案：自研 DiskBBQ 将 Float32 压缩至 1-bit BBQ，实现 >95% 内存缩减，索引速度较 HNSW BBQ 提升约 10倍；Slice-DiskBBQ 按租户切分全局向量，仅活跃数据保持 Hot，消除跨租户 I/O 浪费。
• 痛点二：检索遍历冗余。文本过滤与向量检索两路独立，重复遍历开销随规模放大。
  • 解决方案：Filtered-DiskBBQ 实现文本与向量协同遍历（单次协调连接），生产验证混合查询性能提升 2倍以上。
• 痛点三：计算与冗余瓶颈。SOAR 冗余副本在超大规模下内存复合增长；JVM 热路径吞噬 Native 算力。
  • 解决方案：向量索引去冗余（SOAR Dedup）以少量性能损失换取显著内存收益；解锁 Native 向量评分后，1536D 混合搜索 QPS 由 1699 升至 2323（+37%），该优化已合入上游。
• 痛点四：Schema 演化代价高。变更 Schema 引发全量重建。
  • 解决方案：在线 Schema 演化支持细粒度变更，98% 数据未触及（Segment files reused），17×EASTER 0B docs 线上重建仅需 6.55 小时。

为什么选择腾讯云

• 国际社区认可与排名连续性：腾讯云在 Elasticsearch / Lucene 社区 PR 贡献公司排名中位列第 2（260+ 技术 PRs），自 2019 年至 2024 年持续获得 Elastic 社区领导力的公开技术认可，体现长期主义与稳健贡献。
• 超大规模生产验证：相关架构在 100B+ 生产规模（知识库、广告推荐、安全风控）稳态运行，验证从创新到落地的完整闭环。
• 技术先进性驱动量化收益：因自研 DiskBBQ、Filtered-DiskBBQ、Native Scoring 等具体技术的先进性，在内存缩减（>95%）、查询性能（2倍以上提升）、评分吞吐（+37% QPS）等维度具备明确的竞争优势，并持续反哺全球开源基础设施。