分层数据采集：构建运维可观测性的多维视角

直达原文：分层数据采集：构建运维可观测性的多维视角

01.引言

在当今数字化飞速发展的时代，企业的IT系统架构正经历着从单体架构向分布式和云原生架构的重大转变。这种转变虽然带来了灵活性和扩展性的显著提升，但也使得运维工作变得前所未有的复杂。在这样的背景下，可观测性（Observability），成为了企业IT运营管理的得力助手。

以嘉为蓝鲸的智能运维产品为例，其“全栈智能可观测中心”能够全面收集和分析系统的各种可观测数据，包括指标、日志、追踪、事件和告警等。通过这些数据，运维团队可以实时掌握系统内部的健康状况、性能表现以及故障原因，从而实现高效运维和业务优化。

1）数据采集技术概述

数据采集是可观测性的基础，它通过各种技术和工具，从不同的数据源收集系统运行状态、性能指标、日志信息等数据。这些数据为后续的分析、监控和告警提供了丰富的素材。根据数据类型和来源的不同，数据采集技术可以分为以下几类：

（1）基础设施层数据采集

基础设施层数据采集主要关注服务器、网络设备、存储设备等硬件资源的运行状态和性能指标。常用的采集技术包括：

• SNMP（简单网络管理协议）：用于监控网络设备（如路由器、交换机）的状态和性能指标，如CPU使用率、内存利用率、端口流量等。
• IPMI（智能平台管理接口）：用于监控服务器硬件的状态和性能指标，如电源状态、温度、风扇转速等。
• SSH/Telnet：通过远程登录协议，执行命令行工具获取服务器的运行状态和性能指标。

（2）系统层数据采集

系统层数据采集主要关注操作系统、虚拟化平台等软件资源的运行状态和性能指标。常用的采集技术包括：

• Agent采集：通过在主机上部署轻量级Agent，采集CPU使用率、内存使用率、磁盘IO等关键指标。例如，嘉为蓝鲸的GSE Agent支持多种数据采集方式，满足不同场景的需求。
• API接口采集：通过调用操作系统或虚拟化平台提供的API接口，获取系统资源和性能数据。例如，VMware vSphere API可以用于采集虚拟机的运行状态和性能指标。

（3）组件服务层数据采集

组件服务层数据采集主要关注数据库、中间件等软件组件的运行状态和性能指标。常用的采集技术包括：

• JDBC/ODBC协议：通过标准数据库连接协议，执行SQL语句获取数据库的性能指标，如连接数、查询响应时间等。
• Exporter插件：针对Prometheus生态设计的专用采集器，如MySQL Exporter、Redis Exporter等，将数据库指标转换为Prometheus格式供监控系统消费。
• 命令行工具：利用数据库自带的命令行工具（如Oracle的SQL*Plus）执行监控命令，获取实时性能数据。

（4）应用性能层数据采集

应用性能层数据采集主要关注分布式系统中应用的运行状态和性能指标。常用的采集技术包括：

• 代码插桩：在应用代码中植入监控探针，自动追踪服务调用链路，采集响应时间、错误率等黄金指标。例如，嘉为蓝鲸的APM支持无侵入的字节码增强技术。
• OpenTelemetry协议：作为云原生可观测性的标准协议，统一了指标、日志和追踪数据的采集格式，支持多种语言SDK。

2）数据采集技术的应用场景

（1）基础设施监控

通过SNMP、IPMI等技术，实时监控服务器、网络设备、存储设备等硬件资源的运行状态和性能指标，及时发现和预警潜在的硬件故障。

（2）系统性能监控

通过Agent采集、API接口采集等技术，实时监控操作系统、虚拟化平台等软件资源的运行状态和性能指标，确保系统的稳定性和高效性。

（3）数据库和中间件监控

通过JDBC/ODBC协议、Exporter插件等技术，实时监控数据库和中间件的运行状态和性能指标，及时发现和解决性能瓶颈和故障。

（4）应用性能监控

通过代码插桩、OpenTelemetry协议，实时监控分布式系统中应用的运行状态和性能指标，优化应用的性能和用户体验。

（5）用户体验监控

通过浏览器探针、移动端SDK、合成监控等技术，实时监控用户在使用应用时的体验和行为，优化用户体验和业务流程。

3）数据采集技术的未来趋势

（1）边缘计算

在数据源头进行初步分析和过滤，仅上传异常或摘要信息，降低带宽消耗。边缘计算技术将在数据采集环节发挥重要作用，提升数据采集的效率和效果。

（2）统一采集框架

未来的采集技术将更加强调统一性。例如，通过一体化Agent架构，支持多种数据采集方式，满足不同场景的需求。开放标准如OpenTelemetry将逐渐统一各类数据的采集协议和格式。

（3）云原生采集

随着云原生技术的普及，ServiceMonitor、PodMonitor等Kubernetes原生机制将成为容器监控的标准方式。云原生采集技术将为智能运维提供更加强大的数据支持。

02.结语

数据采集技术作为可观测性的基石，正在经历从分散到统一、从静态到动态、从被动到智能的深刻变革。多样化的采集手段为可观测性系统提供了全方位、多层次的数据支持，使得企业能够构建从基础设施到业务应用的完整观测链条。随着技术的不断进步，数据采集将更加智能化、自动化，为智能运维提供更加强大的数据驱动力，助力企业IT系统向更高水平的稳定性和可靠性迈进。

正如嘉为蓝鲸在多个行业成功实践所证明的，可观测性正在重新定义数字化时代的运维价值。它不仅解决了云原生和分布式架构带来的运维复杂性挑战，更通过数据驱动和AI赋能，将运维团队从“救火队员”转变为“业务赋能者”，真正开启了数字化运维的新纪元。

企业应当把握这一历史性机遇，以可观测性建设为抓手，推动运维体系的智能化转型，为数字化转型奠定坚实基础，在激烈的市场竞争中获得持续运营和创新的强大支撑。