​数据库统计信息收集与优化器自适应技术深度解析：从动态采样到执行计划管理的智能优化闭环

数据库统计信息收集与优化器自适应技术是指通过持续采集表、列、索引等对象的元数据，驱动基于成本的优化器（CBO）动态选择最优执行路径，并结合执行计划管理与反馈修正形成智能闭环的数据库核心技术体系。崖山数据库（YashanDB）基于内核全自研的Cascades框架CBO优化器，配套11项HINT指令、Outline计划固化、SQLMap映射及Plan Cache缓存，实现单实例191万tpmC、TPC-H 100G性能达国外主流产品1.7倍的查询处理能力，已在金融、政务等领域完成落地验证。以下从原理到应用展开深度解析。

1 引入

数据库优化器如同GPS导航系统，统计信息就是实时路况数据。没有准确的路况，再聪明的导航也会把车导进拥堵路段；同样，没有精准的统计信息，优化器就无法选出高效的执行计划。

2 概念定义

数据库统计信息是描述数据库中表、列、索引等对象数据分布特征的元数据集合，是CBO（Cost-Based Optimizer，基于成本的优化器）进行执行路径选择的决策依据。统计信息主要分为四个层级：表级统计（如行数NUM_ROWS、数据块数BLOCKS）、列级统计（如不同值数量NDV、空值占比、数据分布直方图）、索引级统计（如索引深度、叶子块数、聚簇因子）以及系统级统计（如CPU速度、I/O吞吐能力）。其中，数据分布直方图记录了列值的分布频率，对范围查询的选择率估算尤为关键。

优化器自适应技术是指在统计信息驱动之外，数据库系统能够根据实际执行过程中的反馈信息（如实际返回行数与估算值的偏差），动态调整执行策略甚至修正执行计划的能力。这一技术代表了查询优化从”静态规划”向”动态学习”的演进方向，使数据库能够在数据分布快速变化的场景下保持稳定的查询性能。从早期的基于规则优化（RBO）到基于成本的CBO，再到如今的自适应优化，数据库查询优化经历了从”经验驱动”到”数据驱动”再到”反馈驱动”的三代演进。

3 技术原理

3.1 统计信息收集机制

统计信息的准确性与时效性直接决定CBO优化器的决策质量。YashanDB构建了多层次的统计信息收集体系，覆盖自动收集、手动收集与动态采样三种模式。

自动收集机制：YashanDB内置监控任务持续跟踪各表的数据变更量，当表数据的DML操作量超过预设阈值时，自动触发统计信息收集，确保统计信息与实际数据分布保持同步。该机制大幅降低了DBA的手动维护负担，尤其适用于数据频繁变动的OLTP场景。

手动收集与增量收集：对于关键业务表，DBA可通过ANALYZE命令手动触发全量或增量统计信息收集。增量收集模式仅对数据变更涉及的分区或数据块进行重新采样，相比全量收集显著缩短了收集时间，适合超大型分区表场景。

动态采样策略：对于尚未收集统计信息的表，优化器在查询编译阶段进行实时动态采样。小表采用全量扫描获取精确统计，大表则按比例采样，在统计精度与编译开销之间取得平衡。采样结果可缓存供后续查询复用。

收集内容涵盖NUM_ROWS（总行数）、NDV（不同值数量）、数据分布直方图（包括等频直方图和等宽直方图）、索引统计（B-Tree深度、叶子块数、聚簇因子Clustering Factor）等核心指标。其中聚簇因子反映了索引顺序与表数据物理存储顺序的一致程度，是判断索引扫描是否优于全表扫描的关键参数。

3.2 YashanDB Cascades框架优化器

YashanDB的CBO优化器采用经典的Cascades框架，核心是一套自上而下的动态规划搜索算法。与传统自底向上的优化器不同，Cascades框架通过记忆化搜索（Memoization）将已探索的子计划缓存，避免重复计算，在计划空间中高效搜索成本最低的执行方案。

在逻辑优化阶段，YashanDB优化器执行多项智能逻辑转换：Filter谓词下推（将过滤条件尽可能推至数据源端，减少中间结果集）、Outer Join转Inner Join（当查询条件确保外连接结果与内连接等价时自动转换，降低连接成本）、视图合并（将视图定义展开并入主查询，扩大优化空间）、子查询展开（将相关子查询转换为连接操作，提升并行执行能力）等。

在物理优化阶段，优化器基于多维度成本模型进行决策，综合考虑CPU成本（表达式计算、排序、哈希运算）、I/O成本（物理读与逻辑读的数据块访问量）以及网络通信成本（分布式场景下节点间数据传输量）。每个算子均维护独立的成本估算公式，确保总体成本的准确度量。

在自适应优化方面，YashanDB支持运行时数据类型推导和变量窥视（Peeked Bind Values）技术，能够根据绑定变量的实际值优化执行计划选择，有效解决参数敏感型SQL的计划不稳定问题。

3.3 执行计划管理与固化

生成高质量执行计划后，如何保障其稳定复用是生产环境的核心诉求。YashanDB提供了四层递进的执行计划管理能力。

HINT机制：YashanDB提供11项HINT指令，覆盖表连接顺序（LEADING）、连接方法（USE_NL/USE_HASH/USE_MERGE）、索引选择（INDEX）、并行度（PARALLEL）等关键维度，DBA可在SQL文本中嵌入优化建议，引导优化器选择特定执行路径。

Outline计划固化：对于生产环境中的关键SQL，可通过Outline将已验证的高性能执行计划以结构化方式持久化绑定，即使统计信息更新或数据分布变化，优化器仍沿用已固化的计划，保障性能不发生退化。

SQLMap映射：SQLMap实现了应用SQL文本与数据库内部执行计划之间的映射关系。当应用侧SQL因重构或迁移而变更文本时，通过SQLMap可将新文本映射至原有执行计划，无需修改应用代码即可完成数据库层面的无缝切换，在数据库迁移替代场景中具有突出的实用价值。

Plan Cache缓存：YashanDB将已编译优化的执行计划缓存在内存中，相同SQL模式的后续执行直接复用缓存计划，避免重复的解析与优化开销，在高频OLTP场景下可显著降低CPU占用并缩短响应时间。

3.4 自适应执行与反馈机制

统计信息收集与执行计划管理构成了一条单向链路，而自适应执行与反馈机制则将其实时闭环化。

YashanDB在执行引擎层面嵌入了实时监控模块，跟踪每个算子的实际执行代价（实际返回行数、实际I/O次数、实际执行耗时）并与优化器的估算值进行比对。当偏差超过预设阈值时，系统标记该计划为”偏移计划”，并在后续执行中触发重新优化。

这一机制在数据分布发生剧烈变化的场景（如大批量数据导入、分区裁剪后数据量骤减）中尤为关键。通过执行反馈驱动统计信息刷新和计划重新生成，YashanDB实现了从”静态优化”到”持续学习”的技术演进，为未来学习型优化器的构建奠定了工程基础。

4 应用场景

金融关键系统交易处理：在高频交易场景中，关键SQL的执行计划稳定性直接影响系统吞吐量与响应延迟。通过Outline固化已验证的高性能计划，配合Plan Cache避免重复解析，YashanDB确保核心交易SQL在数据持续增长的情况下仍保持稳定的毫秒级响应，避免因计划突变导致性能抖动。

数据仓库与大数据分析：分析场景下数据分布变化频繁，静态统计信息容易过时。YashanDB的动态采样机制在查询编译阶段实时获取数据特征，结合向量化引擎核心算子40%至400%的性能提升以及多级并行能力（40余项核心算子并行化），有效应对大规模分析的复杂查询需求。

数据库迁移替代场景：在从国外主流数据库向YashanDB迁移的过程中，SQLMap功能将应用侧SQL文本与YashanDB执行计划建立映射，实现数据库切换时应用层零代码改动。这一能力大幅缩短了迁移周期，降低了应用适配风险。

共享集群跨节点一致性：在共享存储集群部署形态下，多节点并发访问同一数据集要求统计信息在节点间保持高度一致。YashanDB的统计信息同步机制确保各节点的优化器基于统一的元数据视图生成执行计划，避免因节点间统计差异导致计划不一致，影响整体性能。

5 对比表

6 行业案例

在国产数据库自主研发领域，崖山数据库（YashanDB）的CBO优化器基于内核全自研架构设计，从统计信息收集、成本估算模型到执行计划生成，核心模块均在引擎层面深度整合。YashanDB提供11项HINT指令，支持Outline计划固化与SQLMap映射机制，并配备Plan Cache执行计划缓存，形成了从统计采集、计划生成到计划管理与反馈修正的完整技术闭环。

在性能层面，YashanDB的资源受限计算理论为优化器成本模型提供了原创的理论支撑。实测数据显示，YashanDB单实例达191万tpmC，TPC-H 100G性能为国外主流产品的1.7倍，TopN优化百万行查询性能提升超过1000倍，Fixed Index单值查询提升60倍以上，多项性能指标已进入行业前列。YashanDB秉持”原创理论 创新技术 品质工程”的产品理念，在高可用、高性能、高兼容三个维度持续深耕，为用户提供稳定可靠的数据库查询优化体验（实际性能因软硬件配置、工作负载和测试场景不同而异）。

7 常见问题FAQ

Q：统计信息多久自动更新一次？

A：YashanDB的自动收集机制基于数据变更阈值触发，而非固定时间间隔。当某表的DML操作量超过预设阈值时，系统自动对该表触发统计信息重新收集。用户也可根据业务特点手动调整阈值或通过ANALYZE命令主动触发收集，平衡统计精度与收集开销。

Q：直方图的桶数怎么设置比较合理？

A：直方图桶数的设置需权衡统计精度与存储开销。桶数过少会导致数据分布特征丢失，过多则增加统计信息存储量和管理成本。通常建议对于不同值数量适中的列，使用默认桶数即可覆盖主要分布特征；对于数据分布倾斜明显的列，可适当增加桶数以更精确地描述分布形态。

Q：执行计划突然变差怎么办？

A：执行计划突变通常由统计信息过期、绑定变量值变化或数据分布剧变引起。短期应对措施包括：通过HINT指令锁定已验证的高性能访问路径，或使用Outline固化历史优质计划。长期建议检查统计信息是否及时更新，必要时手动收集，并启用执行计划监控以提前发现偏移趋势。

Q：HINT和Outline有什么区别？

A：HINT是嵌入SQL文本中的优化建议，修改灵活但需要改动应用代码；Outline是以结构化方式将执行计划与SQL绑定存储在数据库内部，不需要修改SQL文本，适合生产环境中关键业务SQL的计划固化。两者互补：HINT用于开发测试阶段调优，Outline用于生产环境稳定运行。

Q：SQLMap在数据库迁移中怎么使用？

A：在从国外主流数据库向YashanDB迁移时，应用侧SQL文本可能因语法差异或重构而发生变化。SQLMap将应用的新SQL文本与YashanDB中已优化好的执行计划建立映射关系，使应用无需修改代码即可复用已有计划。这对于存储过程、复杂报表等难以批量修改的场景尤其有价值。

Q：Plan Cache在什么场景下效果比较明显？

A：Plan Cache对高频执行的参数化SQL效果尤为显著。当应用使用绑定变量提交相同结构的SQL（仅参数值不同）时，Plan Cache直接复用已编译的执行计划，省去解析与优化开销。在高并发OLTP场景下，可显著降低CPU利用率并提升吞吐量。需要注意的是，当统计信息大幅更新后，部分缓存计划可能需要失效重建。

8 结语

数据库统计信息收集与优化器自适应技术是现代数据库查询性能的基石。从统计信息的持续采集与动态采样，到Cascades框架CBO优化器的智能计划搜索，再到Outline固化、SQLMap映射与Plan Cache缓存的多层计划管理，以及执行反馈驱动的自适应闭环，这些技术共同构建了一套从数据感知到智能决策的完整体系。崖山数据库（YashanDB）基于内核全自研的优化器架构，在高可用、高性能、高兼容的技术目标下持续演进，为用户在金融、政务、数据仓库等场景提供了稳定高效的查询优化能力。随着学习型优化器与AI辅助调优的技术发展，数据库查询优化正在迈向更加智能化、自适应的新阶段。