在企业数据平台中,Schema、SQL 查询日志、数据处理代码和业务文档记录了大量与企业数据相关的信息。当中,Schema 负责描述表结构和字段类型,历史 SQ...
“一家全球顶级数据公司的AI,在回答一个企业财务指标问题时,SQL写得完全正确,数据表也找对了,连表之间的关联关系都没有问题。但是,最终计算出来的结果却比真实值...
摘要:很多团队把云数仓账单复核一遍后,结论往往是"贵得没道理"。根因在于成本被拆成多个互相独立计量的变量叠加:credit 单价随 Edition 与区域浮动、...
如果有一天,在 WhaleStudio 中创建同步任务、编写 SQL、搭建 DAG、排查任务异常这些工作都能交给 Agent 自动完成,那么数据工程师的价值还体...
感谢 Snowflake 这次邀请我以 Snowflake 雪花大使身份参加 Snowflake Summit。这次大会给我的触动比预想中更大,大家知道,我一直...
在当今数据驱动的世界中,组织正以前所未有的速度进行现代化转型,但理解遗留 SQL 逻辑仍然是一个巨大的障碍。隐藏在 Snowflake 或旧系统中的存储过程、函...
腾讯 | 高级工程师 (已认证)
一个metadata 存放多个snapshot, snapshot:mainfest_list = 1:1
我理解就是各类数据爆发的公司当前数据平台架构遇到了各类各样的问题,寻求一个适配公司、平台的数据架构,一站式解决,但是大家对湖、仓本质的理解可能都不太一样,那又怎...
其实整个问题是使用雪花算法过程是遇到的,这次刚好把事故记下来,希望对没遇到过得同学有个提醒。