数据分析工具Druid.io使用体会

数据分析工具Druid.io使用体会

• 使用场景
• 一、数据OLAP分析
  • 问题:
• 二、时间序列数据仓库Data Warehouse
• • • • 问题:
• 总结

使用场景

个人认为数据分析是数据挖掘工作中比较重要的一环，是基于已有数据在各个维度、方向上进行的分析工作。通过对数据进行钻取(Drill-down)、上卷(Roll-up)、切片(Slice)、切块(Dice)以及旋转(Pivot)等操作，数据分析师们可以从海量数据中发现显见的数据规律，从而反馈于业务，进而产生商业价值。在个人所接触过的数据分析软件中，druid.io是目前功能比较强大、应用较为广泛、社区较为活跃的为数不多的工具。下面就记录一下个人在使用该工具时的一些体会，主要包括使用场景以及遇到的问题。

一、数据OLAP分析

这是druid.io工具最主要的功能。它提供了功能强大的基于sql和原生rawQuery两种方式来对存储的数据dataSource进行数据分析。 此外druid.io产品体验很好。它提供了很多数据来源的connect，常见的包括kafka、http source、local/s3/hdfs file等。同时提供标准的接入流程spec, 通过spec定义数据来源、数据解析、时间字段定义、数据分区和持久化策略等。这使得数据分析变得很规范。

问题:

1. 不支持自定义函数，不完全兼容标准SQL。适用于新业务场景接入，老业务迁移需谨慎。
2. 没有多租户设计。这导致很尴尬，一套服务多人使用，彼此之间没有隔离。
3. SQL查询历史不会持久化保存。所有的数据分析SQL必须另外保存在其他服务中，增大了使用操作量。

二、时间序列数据仓库Data Warehouse

druid.io的数据存储设计天然适合时间序列数据。每条数据都有__time这个字段，表示数据对应的生成时间，同时根据时间进行分段存储，在数据存储和查询上效率较高。 除了存储，druid.io还对外部系统提供http协议的数据查询服务。这使得数据分析师的分析结果可以通过http协议的方式被外部系统获取，可以给到一些响应实效要求不高的业务中使用。

问题:

1. 缺少数据写入幂等性，相同时间点可以有多条一样的数据。这导致因某些原因重复写入数据时，最终存储数据比实际数据要多，需要数据分析做查询去重。

总结

数据分析工具druid.io提供的功能是很强大的，非常适合用于实时的数据OLAP分析。同时做为时间序列数据的数据仓库使用也是合适的。