存算分离,现在已经成为云原生数据库的标配, 开始大规模流行。 作者 | 祁国辉 责编 | 韩 楠 纵观历史, 随着IT技术的发展, 到底是存算一体还是存算分离, 其实反复过很多次,让我们来简单回顾一下,数据库历史上几次大的架构变更。 海量数据催生的存算一体 时间进入本世纪, 随着用户数据的快速膨胀, 用户对海量数据的分析需求越来越明显, 各行各业都在搭建自己的数据仓库和商业智能系统, 这时用户面临的最大挑战第一是成本, 第二是性能。 云时代带来的新一代存算分离 随着公有云的快速发展, 按需付费的概念逐步深入人心,对大规模数据的分析也要求能做到按需供给,那么传统MPP这种存算一体的紧耦合架构,就没法满足用户的需求了。 另外, 网络技术和存储技术也飞速发展, 这时就自然带来新一代的云原生数据库的存算分离架构, 把数据库技术向前推进了一大步。
导读 本文主要基于存算一体和存算分离架构的结果效应和架构自身来聊聊它们之间的故事。 一、前言 降本增效大环境下,存算分离架构如火如荼。 二、存算一体的概念 2.1 存算一体的过往 存算一体的概念形成,最早可以追溯到上个世纪70年代。 四、Doris架构示例 那么,结合以上存储一体的概念和存算分离的定义而言,以Apache Doris的存算一体和存算分离架构为例: Doris 的整体架构由两类进程组成:Frontend (FE) 和 本身存算分离架构实施比存算一体复杂许多,试错成本相对较高,还不如把时间拿去优化优化已有组件和数据建模体系,测试环境测测即可。 性能高要求,还得是走存算一体。 随着数据量的爆炸式增长,传统的存算一体架构逐渐显露出其局限性。例如,在面对大规模数据处理时,存算一体架构的资源固化使用可能导致资源的浪费和成本的增加。
第一章:AI算力基础设施的“木桶效应”困境 当前企业在推进AI大模型落地时,普遍面临算力瓶颈,传统的计算、存储、网络架构存在明显的“木桶效应”,单一环节的短板会限制整体生产力释放。 第二章:构建算存网数一体的高性能智算底座 腾讯云智算提供AI原生云智算解决方案,通过集结自研AI基础设施打破算力瓶颈。 高性能计算集群HCC与高性能推理实例 智能高性能网络IHN(星脉网络) 高性能存储(GooseFS & CFS Turbo) 计算加速套件TACO与云原生调度编排(TKE & qGPU) 向量数据库与私有化智算套件 全球资源与服务规模: 智算服务遍布全球 21个 国家,58个 可用区。 已服务 100,000+ 客户,覆盖 15+ 个行业。 90% 国内头部大模型厂商选择该底座。 第五章:全栈自研技术构建确定性 选择腾讯云智算的核心原因在于其全栈自研的技术深度与广泛的生态兼容性: 技术领先性: 具备千卡并行加速比96%的硬核指标,通过软硬协同实现“一云多芯”,打破单一供应商限制。
直面AI算力瓶颈与系统级“木桶效应”限制 在生成式AI与大模型快速发展的产业情景下,企业普遍面临海量数据处理与极速推理的战略需求。 然而,单纯依赖单点硬件升级已无法满足复杂的业务诉求,企业在实际部署中受制于计算、存储、网络的系统性“木桶效应”,导致算力瓶颈凸显,存在训练中断风险高、底层资源利用率低、异构算力兼容困难等切实痛点,严重制约了 打造算存网数一体的高性能智算软硬协同方案 为破解上述产业困境,腾讯云推出算存网数一体的云原生智算解决方案,通过“一云多芯、软硬协同”的模式,提供涵盖公有云、专有云(CDZ/CDC/TCE/TCS)在内的多形态灵活部署底座 高性能算力集群(HCC): 结合计算节点(CVM/CBM),为大规模模型提供高可用算力支撑。 智能高性能网络(IHN): 构建高带宽RDMA网络,打通节点间数据传输大动脉。 目前,90%的国内头部大模型厂商(如美团、快手、知乎、小红书、蔚来等)首选该智算底座。 (数据来源:腾讯云智算解决方案官方发布材料)
但是对于milvus这种存算分离+云原生的架构,如果新写入的数据要经过write-object storage再download的过程才能可查,那么且不说由于flushInterval太短造成的小文件问题 存算双读双读就是存储节点和计算节点都做查询再做结果合并,如下图, 存储节点的热数据和计算节点上synced数据之间没有交集,查询分2路分别查到hot_result和synced_result后进行合并, 存算双写而双写意味着同一份数据,既写入存储节点,又写入计算节点。如上图所示,当查询发生的时候,query只需要发给计算节点,就能够得到完整数据。 Milvus的存算双写机制综上,无论是双写还是双读,存算分离架构下都需要相当的额外资源和复杂性来满足数据实时性的要求。milvus在这个问题上选择双写。 总结本文从“最新数据实时可见”这个需求入手,介绍了milvus 通过存算双写保证数据实时可查的解决方案和整个双写流程。
(3) 存算一体,即存储器本身的算法嵌入。 存算一体或者存内计算的核心思想是,通过对存储器单元本身进行算法嵌入,使得计算可以在存储器单元内完成。 存算一体芯片特性 前面我们提到,存算一体的核心思想,是通过在存储单元本身进行算法嵌入,具体来说,主要就是将AI模型的权重数据存储在内存单元中,然后对内存的核心电路进行设计,使得数据流动的过程就是输入数据和权重在模拟域做点乘的过程 由于卷积运算是深度学习算法的核心组成单元,因此存算一体非常适合深度学习。该架构彻底消除了访存延迟,并极大降低了功耗,是一种真正意义上的存储和计算的融合。 存算一体芯片现状 (1) 技术实现方式 根据存储期间的易失性分类,存算一体技术的实现方式大致可分为两种, 基于易失性、现有工艺成熟的SRAM、DRAM实现; 基于非易失性、新型存储器如相变存储器PCM (2) 竞争格局 近几年,国内外涌现了多家存算一体初创企业。 国外比较有名的存算一体初创企业包括Mythic、Syntiant。另外,老牌巨头三星也基于HBM2 DRAM开发了其存算一体技术。
微纳核芯在RISC-V存算一体产业论坛暨应用组启动大会上介绍的3D-CIM(三维存算一体)技术,与开源灵活的RISC-V架构深度融合,正成为突破困境、推动国产芯片迭代的核心路径。 2.三维存算一体技术可破局作为对上述芯片行业痛点的回应,9月9日,杭州微纳核芯首席科学家叶乐教授在RISC-V存算一体产业论坛暨应用组启动大会上,作了关于《三维存算一体3D-CIM:赋能RISC-V AI 三维存算一体技术的核心突破在于SRAM存算一体设计,通过将计算单元与存储单元融合,在存储器内原位完成张量计算(AI场景中占比99%的计算任务),能大幅提升算力密度。 3.三维存算一体技术的生态与应用前景此外,开源、灵活的RISC-V架构可以与三维存算一体技术形成天然互补。 作为RISC-V存算一体应用组组长单位,微纳核芯正联合产业链上下游企业,推动三维存算一体技术与RISC-V架构的生态化落地。微纳核芯把三维存算一体技术的应用前景分为短期、中期和长期。
但是 ,基于端侧设备在资源 、时延、成本、功耗等诸多因素的考虑 ,业界对存算一体芯片提出了苛刻的要求。因此, 存算一体介质与计算范式尤为重要。 、内存计算 、 存算融合 、存内计算 、存算一体等。 4.3 DRAM存算一体 基于 DRAM 的存算一体设计主要利用 DRAM 单元之间的电荷共享机制[33-34]。 4.5 RRAM/PCM/MRAM 二值存算一体 基于 RRAM/PCM/MRAM 的二值存算一体主要有两种方案。 第一种方案是利用辅助外围电路,跟上述SRAM 存算一体类似 ,如图 8(a)所示为一种典 型的可重构存算一体实现方案[35] ,其可以在存储应 用与存算一体应用之间进行切换。
量子位智库 发自 凹非寺 量子位 | 公众号 QbitAI 新型存算一体架构如今已成为学术界与产业界的热门话题之一,近年来学术界有关存算一体的研究成果不断涌现。 6月29日晚上19:00,“存算一体芯片”系列对谈节目第二期「量子位·对撞派」邀请到国内最早入局存算一体的公司——知存科技,将由知存科技的创始人兼CEO王绍迪为我们分享~ 对存算一体芯片感兴趣的小伙伴 ,可以扫码或点击下方预约按钮预约直播、接收微信开播提醒噢~ 关于知存科技 存算一体领域国际领航者 10年存算一体研发经验,在存内计算和近存计算领域国际领先 获得累计6亿元投资,包括哈勃、中芯聚源、讯飞投资 、深创投、国投创业、普华资本、招商局 One More Thing 在存算一体芯片领域,智库后续还会推出深度报告与金句视频。 欢迎扫码添加小助手,进入垂直社群: 如果您深耕于存算一体芯片领域,欢迎扫码添加分析师进行深度讨论与交流。 关于量子位智库: 量子位旗下科技创新产业链接平台。
目前,云和互联网数据中心普遍采用存算一体的架构,基于“开源软件+通用服务器”搭建存储系统,服务器上的多样化处理器和数据生命周期不一致,计算和存储资源无法独立规划扩展——存储系统被迫跟随计算体系的节奏进行更新换代或数据迁移 更值得关注的是,为了追求可靠性,很多云和互联网数据中心只好使用3副本保证数据安全,机柜空间浪费高达67%,建设成本和能耗大幅提升;在HPC(高性能计算)场景,元数据规模大、存储性能要求高,服务器本地盘需存算等比扩容 是否可以打破存算一体的桎梏,让存储系统根据客户需求相对独立地发展?能否摆脱硬盘介质的束缚,找到一条更加灵活、轻盈的存储路径? 云厂商很快发现,在算力上挖掘资源潜力的既有做法已遇到瓶颈,存储成为最大的短板,存算一体衍生的众多难题无法破解。 面对存储痛点,整个业界都在积极探索突围之道,存算分离、池化运行、共享应用等思路与做法逐渐浮出水面,“Computation on Diskless”(无盘计算)成为新的目标。
特别是针对大模型的推理,存算一体保持权重的特点与大模型中大规模的参数部署需求相匹配,可能是存算一体技术最先服务大模型应用的场景之一。 等,他们目前推出的存算一体芯片都属于近存计算的范畴。 狭义上讲,这才是真正的存算一体,或者说,基于器件层面实现的存算一体才真正打破了存算分离架构的壁垒。 近些年来,学术界在存算一体的各个方面都进行了大量探索,提出了众多存算一体加速器架构,中科院微电子所、清华大学、斯坦福大学等单位制备出了存算一体芯片原型。 现阶段各厂商开发的存算一体芯片均基于自行定义的编程接口,缺乏统一的编程接口,造成了存算一体软件生态的分散,不同厂商开发的上层软件无法互相通用,极大的影响了存算一体芯片的大规模使用。
8月20日消息,最新的爆料显示,联发科即将于今年9月推出下一代旗舰移动处理器天玑9500,将会采用全新NPU IP,AI算力高达100TOPS。 同时,天玑9500还将推出类似“存算一体”的高能效黑科技架构。 在AI性能方面,据微博大V @数码闲聊站 爆料称,天玑9500将会搭载自研的第九代NPU,全新的NPU IP设计将使得AI算力相比上一代提高一倍,达到100 TOPS,这也有望直接推动手机端AI智能体体验的大幅提升 此外,天玑9500还将推出类似“存算一体”的高能效架构,实现计算与存储的高效协同,可以让计算速度更快,功耗大幅降低,有望成为首个在手机芯片中实现“存算一体”架构的产品。 综合目前的信息来看,天玑9500将继续采用全大核设计,CPU也将继续采用全新的IP,并且GPU、NPU性能都有望实现大幅提升,再加上“存算一体”的黑科技加持,将有望为用户带来更为出色的旗舰机体验,非常值得期待
从存算分离到湖仓一体, StarRocks的进化之路 在大数据生态中,StarRocks凭借其先进的技术和强大的性能,占据了独特的地位。那么,StarRocks有哪些独特的能力呢? 然而,存算分离架构虽然有诸多好处,但因为访问远端存储比访问本地存储的延时要高很多,这通常会带来一些性能损失。 比如,在TPC-DS 1TB对比测试中,相对于存算一体架构,存算分离在导入延时会增加30%,查询总耗时增加3倍。 需要指出的是,存算分离不仅是一种技术上的创新,更代表了对数据处理理念的根本性转变。 湖仓一体 在存算分离基础上,StarRocks 3.0的另一大创新是湖仓一体化。
当算力芯片的摩尔定律逐渐逼近物理极限,存力开始从幕后走向台前,成为AI领域下一个关键赛点。 长期以来,伴随企业数字化转型所建设的“烟囱式”AI基础设施各自为战,数据奔流,价值却困于“堰塞湖”。 存力中心作为新型的数据基础设施,正成为AI时代数据流通和融合应用的破题关键。 AI时代的 “数据决定论” AI技术的发展离不开三大要素:数据、算法和算力。 海量数据如指间流沙般“产而未采、采而未存”,其中蕴含的巨大价值最终消散于无形。作为AI时代的“燃料”,数据若存不下、用不好,再强的算力也如同无米之炊。 构建AI时代新型 “数据粮仓” 与算力聚焦在“算”不同,数据存力聚焦在“数”和“存”,是数据生产要素处理的综合能力体现,肩负着为数字经济各种场景提供源源不断的“生产资料”的使命。 将目光投向更长远,新型AI存储很可能是撬动人工智能时代杠杆的另一个支点,“以存强算”“以数助算”亦是弯道超车的重要落点。当AI产业具备扎实的存力底座,才能登高远眺,看见AI时代最美的风景。
从存算分离到湖仓一体, StarRocks的进化之路 在大数据生态中,StarRocks凭借其先进的技术和强大的性能,占据了独特的地位。那么,StarRocks有哪些独特的能力呢? 然而,存算分离架构虽然有诸多好处,但因为访问远端存储比访问本地存储的延时要高很多,这通常会带来一些性能损失。 比如,在TPC-DS 1TB对比测试中,相对于存算一体架构,存算分离在导入延时会增加30%,查询总耗时增加3倍。 需要指出的是,存算分离不仅是一种技术上的创新,更代表了对数据处理理念的根本性转变。 湖仓一体 在存算分离基础上,StarRocks 3.0的另一大创新是湖仓一体化。
存算一体化,可能是突破 AI 算力瓶颈的关键技术。在业界,英特尔、Arm、微软等公司都已参与到该技术方向的投资,但因为技术的复杂性,目前人们还没有看到广泛获得应用的产品。
基于 JuiceFS 的存算分离方案 因为 JuiceFS 完全兼容 POSIX,所以可以把 JuiceFS 挂载的文件系统直接作为 ClickHouse 的磁盘来使用。 未来 JuiceFS 也会与 ClickHouse 社区紧密合作共同探索存算分离的方向,让 ClickHouse 更好地识别和支持共享存储,实现集群伸缩时不需要做任何数据拷贝。
图1:开源ClickHouse架构 但是,开源ClickHouse也有明显的不足之处:采用存算一体架构,计算与存储耦合。 存储与计算资源无法独立扩展。 云原生ClickHouse至少需要具备以下特征:采用存算分离架构,计算资源与存储资源独立扩展,按需付费;高效弹性,计算资源扩容时数据Zero-copy;计算资源池化,根据业务需求灵活编排计算资源;易运维 云原生架构为了解决开源ClickHouse的痛点,腾讯云CDW-ClickHouse采用了全新存算分离架构,将服务分为元数据服务层、计算层 和存储资源层。 云原生ClickHouse与开源ClickHouse有明显区别:开源ClickHouse云原生ClickHouse弹性效率极低,伴随资源浪费、停服时间长秒级弹性,实际受存量数据规模影响架构存算一体存算分离存储资源弹性扩容存储资源
第一章:AI基础设施的算力瓶颈与运维挑战 在普惠AI浪潮下,企业面临从科研探索向规模化商业落地的转型。当前行业核心痛点集中在算力集群的稳定性不足、训练启动周期过长以及数据流转中的安全合规风险。 第二章:构建算存网数安一体的高性能AI智算底座 腾讯云通过腾讯云智算2.0升级,提供覆盖算力、存储、网络、数据、安全的全栈解决方案,并支持多形态部署。 认证来源: 入选中国电子技术标准化研究院《算力服务产业图谱(2024年)》及《算力服务产品名录(2024年)》,获评2024年人工智能先锋案例“技术底座”。 标准制定: 担任全国智能计算标准化工作组算力互联互通研究组(SAC/SWG32/SG7)成员单位。 5.2 技术演进与资质 全栈自研: 拥有自研星星海AI训练服务器、星脉网络交换机及算存网数安底座。
DolphinDB是一款基于高性能时序数据库,集复杂分析与流计算于一体的实时计算平台。 DolphinDB提供五大存储引擎,在一个平台内满足全部需求:引擎存储方式核心优势TSDBPAX行列混存大规模数据分析与高并发点查OLAP纯列式存储长时间跨度聚合计算PKEY主键索引存储支持OLTP系统 3.3流批一体:一套代码搞定实时与历史DolphinDB允许开发者使用同一套脚本同时处理历史批量分析与实时流数据监控。 七、结语从12座水厂10万+设备的集中监控到地震台网的实时波形分析,从核反应堆的安全决策到动力电池万亿级实验数据的百倍提速——DolphinDB正在以"存算一体、流批一体、AI融合"的产品理念,重新定义工业时序数据处理的可能性边界 在数据驱动的时代,选择一个不仅能"存得下",更能"算得快""析得深""用得好"的时序数据平台,不再是锦上添花,而是业务竞争力的根基。DolphinDB——让每一毫秒的数据价值都不被辜负。