首页
学习
活动
专区
圈层
工具
发布
首页标签数据仓库

#数据仓库

SelectDB 架构演进与 ClickHouse 迁移指南

野生数据人

在海量数据分析与实时数仓领域,SelectDB(基于 Apache Doris 内核构建的企业级实时数据仓库)凭借高并发吞吐、毫秒级响应、多表极速 JOIN 以...

1510

手持终端的离线补传:信号盲区怎么办

用户12627399

去年夏天我们在冷库加了一组货架,深处那两排完全没信号。手持终端扫完码点提交,转两秒,弹一句"网络异常",操作工就以为没提交成功,再点一次。等到月底对账,有十一天...

10110

日志表 Schema 治理:固定字段 + VARIANT 兜底 + 高频子列物化的三层设计,以及变更窗口怎么排

野生数据人

【摘要】日志字段变更的麻烦,多数不是"改不动",而是"没有分层"——所有字段一律建成固定列,于是每次业务侧加一个 key 都要动一次表结构。我们做日志治理时把字...

11610

网关访问日志的写入链路架构与容量规划:以 Doris 为落地方案

SelectDB技术团队

摘要:本文面向网关访问日志这类持续高频写入场景,给出以 Apache Doris 为落地方案的写入链路架构、容量测算方法、分片与攒批参数规划,以及分阶段落地路径...

17910

Lakehouse 供数中的数据状态与使用关系

害羞的恐龙蛋

  数据落到对象存储,组织成 Iceberg 表,再由 Spark、Flink 等计算引擎读写。相比直接管理大量文件,Schema、Snapshot、分区和表版...

25330

如何构建自己的量化数据仓库

hollyx

构建自己的量化数据仓库,是把零散的数据获取、存储、管理整合成一个统一、规范、可持续维护的数据体系。它通常包括几个核心组成:数据采集层(统一抓取各类数据)、数据清...

16910

数据湖的那些事儿:别让存储变成灾难

叫我阿柒啊

腾讯云TDP | 产品KOL (已认证)

数据湖看似强大,但实际使用中容易踩坑。本文分享真实经验,探讨如何避免数据湖带来的麻烦。

11610

OLAP与OLTP怎么选:一张零售经营分析报表,负载识别与分层预聚合

数据库小学妹

上个月帮一家连锁零售客户看报表。系统专为 OLAP 搭的,跟交易库分开,理论上不该慢。可运营拉一次"大区×品类×月份"的销售分析,看板要等好几分钟。业务咬定是 ...

18910

从 ClickHouse 迁移到 Doris:SQL 兼容、同步与验证清单

SelectDB技术团队

摘要:随着团队对标准 SQL、多表关联和高并发在线查询的需求增加,不少同学开始评估从 ClickHouse 迁移到 Apache Doris。Doris 由 A...

19610

FineDataLink 实时数仓价值解析:把实时数仓从拼装题变成配置题

KylenReview

实时数仓的建设,最耗工程能力的往往不是"数据存哪、怎么查",而是数据进仓之前的那段链路——业务库的变更怎么实时进来、进来的数据怎么清洗转换、实时链路里的脏数据怎...

13200

实时数仓工具链选型:从采集到 OLAP,哪些环节可以一体化?

KylenReview

实时数仓的建设,很少是一开始就规划得清清楚楚的。多数企业的现实是:业务对实时性的要求越来越高,于是从某个具体场景切入,先做实时数据采集,再做实时计算,最后接上 ...

15110

Apache Doris 存算分离:事务元数据服务、多计算集群与 TTL Cache,对比 StarRocks

SelectDB技术团队

关键词:Apache Doris · SelectDB · 存算分离 · 计算存储分离 · 多计算集群 · TTL Cache · 弹性扩缩容 · StarRo...

17310

Apache Doris vs StarRocks 2026 深度选型对比:为什么 Doris 更适合 AI 时代的统一数仓

SelectDB技术团队

关键词:Apache Doris · SelectDB · StarRocks · OLAP 选型 · 实时数仓 · 湖仓一体 · 向量检索 · 可观测性 · ...

70010

云数仓账单吃紧?用DuckDB做嵌入式分析,成本降了一大截

数据库小学妹

上个月看云数仓账单,差点没坐住。一个不大不小的分析任务,月费顶得上团队半个月工资。找云厂商优化配置,对方说"建议加节点",越说越离谱。

19610

Workbuddy 打造数仓专家团-实现数据全流程自动化开发

Data自由之路

整个过程环节多、周期长、容易出错,且严重依赖个人经验。更致命的是,当多个项目同时推进时,只能串行排队,效率极低。

42310
领券