首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏CU技术社区

    一体 VS 分离 ,IT发展下的技术迭代

    分离,现在已经成为云原生数据库的标配, 开始大规模流行。 作者 | 祁国辉 责编 | 韩 楠 纵观历史, 随着IT技术的发展, 到底是一体还是分离, 其实反复过很多次,让我们来简单回顾一下,数据库历史上几次大的架构变更。 海量数据催生的一体 时间进入本世纪, 随着用户数据的快速膨胀, 用户对海量数据的分析需求越来越明显, 各行各业都在搭建自己的数据仓库和商业智能系统, 这时用户面临的最大挑战第一是成本, 第二是性能。 云时代带来的新一代分离 随着公有云的快速发展, 按需付费的概念逐步深入人心,对大规模数据的分析也要求能做到按需供给,那么传统MPP这种一体的紧耦合架构,就没法满足用户的需求了。 另外, 网络技术和存储技术也飞速发展, 这时就自然带来新一代的云原生数据库的分离架构, 把数据库技术向前推进了一大步。

    2.8K20编辑于 2023-03-02
  • 来自专栏一臻数据

    数据架构新篇章:一体分离的协同演进

    导读 本文主要基于一体分离架构的结果效应和架构自身来聊聊它们之间的故事。 一、前言 降本增效大环境下,分离架构如火如荼。 二、一体的概念 2.1 一体的过往 一体的概念形成,最早可以追溯到上个世纪70年代。 四、Doris架构示例 那么,结合以上存储一体的概念和分离的定义而言,以Apache Doris的一体分离架构为例: Doris 的整体架构由两类进程组成:Frontend (FE) 和 本身分离架构实施比一体复杂许多,试错成本相对较高,还不如把时间拿去优化优化已有组件和数据建模体系,测试环境测测即可。 性能高要求,还得是走一体。 随着数据量的爆炸式增长,传统的一体架构逐渐显露出其局限性。例如,在面对大规模数据处理时,一体架构的资源固化使用可能导致资源的浪费和成本的增加。

    2.2K12编辑于 2024-12-24
  • 腾讯云智:通过网数一体化突破力瓶颈

    第一章:AI力基础设施的“木桶效应”困境 当前企业在推进AI大模型落地时,普遍面临力瓶颈,传统的计算、存储、网络架构存在明显的“木桶效应”,单一环节的短板会限制整体生产力释放。 第二章:构建网数一体的高性能智底座 腾讯云智提供AI原生云智解决方案,通过集结自研AI基础设施打破力瓶颈。 高性能计算集群HCC与高性能推理实例 智能高性能网络IHN(星脉网络) 高性能存储(GooseFS & CFS Turbo) 计算加速套件TACO与云原生调度编排(TKE & qGPU) 向量数据库与私有化智套件 全球资源与服务规模: 智服务遍布全球 21个 国家,58个 可用区。 已服务 100,000+ 客户,覆盖 15+ 个行业。 90% 国内头部大模型厂商选择该底座。 第五章:全栈自研技术构建确定性 选择腾讯云智的核心原因在于其全栈自研的技术深度与广泛的生态兼容性: 技术领先性: 具备千卡并行加速比96%的硬核指标,通过软硬协同实现“一云多芯”,打破单一供应商限制。

    29810编辑于 2026-05-30
  • 腾讯云智底座构建网数一体架构,突破大模型力瓶颈

    直面AI力瓶颈与系统级“木桶效应”限制 在生成式AI与大模型快速发展的产业情景下,企业普遍面临海量数据处理与极速推理的战略需求。 然而,单纯依赖单点硬件升级已无法满足复杂的业务诉求,企业在实际部署中受制于计算、存储、网络的系统性“木桶效应”,导致力瓶颈凸显,存在训练中断风险高、底层资源利用率低、异构力兼容困难等切实痛点,严重制约了 打造网数一体的高性能智软硬协同方案 为破解上述产业困境,腾讯云推出网数一体的云原生智解决方案,通过“一云多芯、软硬协同”的模式,提供涵盖公有云、专有云(CDZ/CDC/TCE/TCS)在内的多形态灵活部署底座 高性能力集群(HCC): 结合计算节点(CVM/CBM),为大规模模型提供高可用力支撑。 智能高性能网络(IHN): 构建高带宽RDMA网络,打通节点间数据传输大动脉。 目前,90%的国内头部大模型厂商(如美团、快手、知乎、小红书、蔚来等)首选该智底座。 (数据来源:腾讯云智解决方案官方发布材料)

    34810编辑于 2026-05-30
  • 来自专栏数据库开发优化

    Milvus分离系列-3: 双写

    但是对于milvus这种分离+云原生的架构,如果新写入的数据要经过write-object storage再download的过程才能可查,那么且不说由于flushInterval太短造成的小文件问题 双读双读就是存储节点和计算节点都做查询再做结果合并,如下图, 存储节点的热数据和计算节点上synced数据之间没有交集,查询分2路分别查到hot_result和synced_result后进行合并, 双写而双写意味着同一份数据,既写入存储节点,又写入计算节点。如上图所示,当查询发生的时候,query只需要发给计算节点,就能够得到完整数据。 Milvus的双写机制综上,无论是双写还是双读,分离架构下都需要相当的额外资源和复杂性来满足数据实时性的要求。milvus在这个问题上选择双写。 总结本文从“最新数据实时可见”这个需求入手,介绍了milvus 通过双写保证数据实时可查的解决方案和整个双写流程。

    95560编辑于 2023-09-17
  • 来自专栏全栈程序员必看

    一体——后摩尔时代的AI芯片架构

    (3) 一体,即存储器本身的算法嵌入。 一体或者内计算的核心思想是,通过对存储器单元本身进行算法嵌入,使得计算可以在存储器单元内完成。 一体芯片特性 前面我们提到,一体的核心思想,是通过在存储单元本身进行算法嵌入,具体来说,主要就是将AI模型的权重数据存储在内存单元中,然后对内存的核心电路进行设计,使得数据流动的过程就是输入数据和权重在模拟域做点乘的过程 由于卷积运算是深度学习算法的核心组成单元,因此一体非常适合深度学习。该架构彻底消除了访延迟,并极大降低了功耗,是一种真正意义上的存储和计算的融合。 一体芯片现状 (1) 技术实现方式 根据存储期间的易失性分类,一体技术的实现方式大致可分为两种, 基于易失性、现有工艺成熟的SRAM、DRAM实现; 基于非易失性、新型存储器如相变存储器PCM (2) 竞争格局 近几年,国内外涌现了多家一体初创企业。 国外比较有名的一体初创企业包括Mythic、Syntiant。另外,老牌巨头三星也基于HBM2 DRAM开发了其一体技术。

    6.9K11编辑于 2022-10-04
  • 来自专栏科技频道

    全球首个RISC-V一体标准研制工作启动

    微纳核芯在RISC-V一体产业论坛暨应用组启动大会上介绍的3D-CIM(三维一体)技术,与开源灵活的RISC-V架构深度融合,正成为突破困境、推动国产芯片迭代的核心路径。 2.三维一体技术可破局作为对上述芯片行业痛点的回应,9月9日,杭州微纳核芯首席科学家叶乐教授在RISC-V一体产业论坛暨应用组启动大会上,作了关于《三维一体3D-CIM:赋能RISC-V AI 三维一体技术的核心突破在于SRAM一体设计,通过将计算单元与存储单元融合,在存储器内原位完成张量计算(AI场景中占比99%的计算任务),能大幅提升力密度。 3.三维一体技术的生态与应用前景此外,开源、灵活的RISC-V架构可以与三维一体技术形成天然互补。 作为RISC-V一体应用组组长单位,微纳核芯正联合产业链上下游企业,推动三维一体技术与RISC-V架构的生态化落地。微纳核芯把三维一体技术的应用前景分为短期、中期和长期。

    69910编辑于 2025-10-12
  • 来自专栏AI科技大本营的专栏

    端侧智能一体芯片的需求、现状与挑战

    但是 ,基于端侧设备在资源 、时延、成本、功耗等诸多因素的考虑 ,业界对一体芯片提出了苛刻的要求。因此, 一体介质与计算范式尤为重要。 、内存计算 、 融合 、内计算 、一体等。 4.3 DRAM一体 基于 DRAM 的一体设计主要利用 DRAM 单元之间的电荷共享机制[33-34]。 4.5 RRAM/PCM/MRAM 二值一体 基于 RRAM/PCM/MRAM 的二值一体主要有两种方案。 第一种方案是利用辅助外围电路,跟上述SRAM 一体类似 ,如图 8(a)所示为一种典 型的可重构一体实现方案[35] ,其可以在存储应 用与一体应用之间进行切换。

    2.7K32发布于 2020-03-05
  • 来自专栏量子位

    一体为何是造芯新方向?|对撞派 x 知科技

    量子位智库 发自 凹非寺 量子位 | 公众号 QbitAI 新型一体架构如今已成为学术界与产业界的热门话题之一,近年来学术界有关一体的研究成果不断涌现。 6月29日晚上19:00,“一体芯片”系列对谈节目第二期「量子位·对撞派」邀请到国内最早入局一体的公司——知科技,将由知科技的创始人兼CEO王绍迪为我们分享~ 对一体芯片感兴趣的小伙伴 ,可以扫码或点击下方预约按钮预约直播、接收微信开播提醒噢~ 关于知科技 一体领域国际领航者 10年一体研发经验,在内计算和近计算领域国际领先 获得累计6亿元投资,包括哈勃、中芯聚源、讯飞投资 、深创投、国投创业、普华资本、招商局 One More Thing 在一体芯片领域,智库后续还会推出深度报告与金句视频。 欢迎扫码添加小助手,进入垂直社群: 如果您深耕于一体芯片领域,欢迎扫码添加分析师进行深度讨论与交流。 关于量子位智库: 量子位旗下科技创新产业链接平台。

    40420编辑于 2022-06-29
  • 来自专栏IT创事记

    打破一体桎梏:华为微存储开创Diskless新纪元

    目前,云和互联网数据中心普遍采用一体的架构,基于“开源软件+通用服务器”搭建存储系统,服务器上的多样化处理器和数据生命周期不一致,计算和存储资源无法独立规划扩展——存储系统被迫跟随计算体系的节奏进行更新换代或数据迁移 更值得关注的是,为了追求可靠性,很多云和互联网数据中心只好使用3副本保证数据安全,机柜空间浪费高达67%,建设成本和能耗大幅提升;在HPC(高性能计算)场景,元数据规模大、存储性能要求高,服务器本地盘需等比扩容 是否可以打破一体的桎梏,让存储系统根据客户需求相对独立地发展?能否摆脱硬盘介质的束缚,找到一条更加灵活、轻盈的存储路径? 云厂商很快发现,在力上挖掘资源潜力的既有做法已遇到瓶颈,存储成为最大的短板,一体衍生的众多难题无法破解。 面对存储痛点,整个业界都在积极探索突围之道,分离、池化运行、共享应用等思路与做法逐渐浮出水面,“Computation on Diskless”(无盘计算)成为新的目标。

    94610编辑于 2022-12-21
  • 来自专栏科技云报道

    一体”是大模型AI芯片的破局关键?

    特别是针对大模型的推理,一体保持权重的特点与大模型中大规模的参数部署需求相匹配,可能是一体技术最先服务大模型应用的场景之一。 等,他们目前推出的一体芯片都属于近计算的范畴。 狭义上讲,这才是真正的一体,或者说,基于器件层面实现的一体才真正打破了分离架构的壁垒。 近些年来,学术界在一体的各个方面都进行了大量探索,提出了众多一体加速器架构,中科院微电子所、清华大学、斯坦福大学等单位制备出了一体芯片原型。 现阶段各厂商开发的一体芯片均基于自行定义的编程接口,缺乏统一的编程接口,造成了一体软件生态的分散,不同厂商开发的上层软件无法互相通用,极大的影响了一体芯片的大规模使用。

    1.8K10编辑于 2024-01-10
  • 天玑9500曝光:AI力高达100TOPS,还有“一体”黑科技!

    8月20日消息,最新的爆料显示,联发科即将于今年9月推出下一代旗舰移动处理器天玑9500,将会采用全新NPU IP,AI力高达100TOPS。 同时,天玑9500还将推出类似“一体”的高能效黑科技架构。 在AI性能方面,据微博大V @数码闲聊站 爆料称,天玑9500将会搭载自研的第九代NPU,全新的NPU IP设计将使得AI力相比上一代提高一倍,达到100 TOPS,这也有望直接推动手机端AI智能体体验的大幅提升 此外,天玑9500还将推出类似“一体”的高能效架构,实现计算与存储的高效协同,可以让计算速度更快,功耗大幅降低,有望成为首个在手机芯片中实现“一体”架构的产品。 综合目前的信息来看,天玑9500将继续采用全大核设计,CPU也将继续采用全新的IP,并且GPU、NPU性能都有望实现大幅提升,再加上“一体”的黑科技加持,将有望为用户带来更为出色的旗舰机体验,非常值得期待

    41910编辑于 2026-03-20
  • 来自专栏数据猿

    分离到湖仓一体,StarRocks的创新永不止步!

    分离到湖仓一体, StarRocks的进化之路 在大数据生态中,StarRocks凭借其先进的技术和强大的性能,占据了独特的地位。那么,StarRocks有哪些独特的能力呢? 然而,分离架构虽然有诸多好处,但因为访问远端存储比访问本地存储的延时要高很多,这通常会带来一些性能损失。 比如,在TPC-DS 1TB对比测试中,相对于一体架构,分离在导入延时会增加30%,查询总耗时增加3倍。 需要指出的是,分离不仅是一种技术上的创新,更代表了对数据处理理念的根本性转变。 湖仓一体分离基础上,StarRocks 3.0的另一大创新是湖仓一体化。

    1.5K10编辑于 2023-12-01
  • 来自专栏科技云报道

    力之后,“力”上位

    力芯片的摩尔定律逐渐逼近物理极限,力开始从幕后走向台前,成为AI领域下一个关键赛点。 长期以来,伴随企业数字化转型所建设的“烟囱式”AI基础设施各自为战,数据奔流,价值却困于“堰塞湖”。 力中心作为新型的数据基础设施,正成为AI时代数据流通和融合应用的破题关键。 AI时代的 “数据决定论” AI技术的发展离不开三大要素:数据、算法和力。 海量数据如指间流沙般“产而未采、采而未”,其中蕴含的巨大价值最终消散于无形。作为AI时代的“燃料”,数据若不下、用不好,再强的力也如同无米之炊。 构建AI时代新型 “数据粮仓” 与力聚焦在“”不同,数据力聚焦在“数”和“”,是数据生产要素处理的综合能力体现,肩负着为数字经济各种场景提供源源不断的“生产资料”的使命。 将目光投向更长远,新型AI存储很可能是撬动人工智能时代杠杆的另一个支点,“以”“以数助”亦是弯道超车的重要落点。当AI产业具备扎实的力底座,才能登高远眺,看见AI时代最美的风景。

    56100编辑于 2025-06-19
  • 来自专栏数据猿

    分离到湖仓一体,StarRocks的创新永不止步!

    分离到湖仓一体, StarRocks的进化之路 在大数据生态中,StarRocks凭借其先进的技术和强大的性能,占据了独特的地位。那么,StarRocks有哪些独特的能力呢? 然而,分离架构虽然有诸多好处,但因为访问远端存储比访问本地存储的延时要高很多,这通常会带来一些性能损失。 比如,在TPC-DS 1TB对比测试中,相对于一体架构,分离在导入延时会增加30%,查询总耗时增加3倍。 需要指出的是,分离不仅是一种技术上的创新,更代表了对数据处理理念的根本性转变。 湖仓一体分离基础上,StarRocks 3.0的另一大创新是湖仓一体化。

    88810编辑于 2023-12-01
  • 来自专栏机器之心

    一体新进展:EPFL革命性芯片体系架构登上Nature

    一体化,可能是突破 AI 力瓶颈的关键技术。在业界,英特尔、Arm、微软等公司都已参与到该技术方向的投资,但因为技术的复杂性,目前人们还没有看到广泛获得应用的产品。

    71220发布于 2020-11-13
  • 来自专栏Juicedata

    ClickHouse 分离架构探索

    基于 JuiceFS 的分离方案 因为 JuiceFS 完全兼容 POSIX,所以可以把 JuiceFS 挂载的文件系统直接作为 ClickHouse 的磁盘来使用。 未来 JuiceFS 也会与 ClickHouse 社区紧密合作共同探索分离的方向,让 ClickHouse 更好地识别和支持共享存储,实现集群伸缩时不需要做任何数据拷贝。

    1.6K20编辑于 2021-12-10
  • 来自专栏ClickHouse

    clickhouse 分离,云原生

    图1:开源ClickHouse架构 但是,开源ClickHouse也有明显的不足之处:采用一体架构,计算与存储耦合。 存储与计算资源无法独立扩展。 云原生ClickHouse至少需要具备以下特征:采用分离架构,计算资源与存储资源独立扩展,按需付费;高效弹性,计算资源扩容时数据Zero-copy;计算资源池化,根据业务需求灵活编排计算资源;易运维 云原生架构为了解决开源ClickHouse的痛点,腾讯云CDW-ClickHouse采用了全新分离架构,将服务分为元数据服务层、计算层 和存储资源层。 云原生ClickHouse与开源ClickHouse有明显区别:开源ClickHouse云原生ClickHouse弹性效率极低,伴随资源浪费、停服时间长秒级弹性,实际受存量数据规模影响架构一体分离存储资源弹性扩容存储资源

    4.3K60编辑于 2022-09-16
  • 腾讯云智2.0:网数安一体底座与训练推理效能量化分析

    第一章:AI基础设施的力瓶颈与运维挑战 在普惠AI浪潮下,企业面临从科研探索向规模化商业落地的转型。当前行业核心痛点集中在力集群的稳定性不足、训练启动周期过长以及数据流转中的安全合规风险。 第二章:构建网数安一体的高性能AI智底座 腾讯云通过腾讯云智2.0升级,提供覆盖力、存储、网络、数据、安全的全栈解决方案,并支持多形态部署。 认证来源: 入选中国电子技术标准化研究院《力服务产业图谱(2024年)》及《力服务产品名录(2024年)》,获评2024年人工智能先锋案例“技术底座”。 标准制定: 担任全国智能计算标准化工作组力互联互通研究组(SAC/SWG32/SG7)成员单位。 5.2 技术演进与资质 全栈自研: 拥有自研星星海AI训练服务器、星脉网络交换机及网数安底座。

    22510编辑于 2026-05-30
  • DolphinDB:以一体重新定义工业时序数据的边界

    DolphinDB是一款基于高性能时序数据库,集复杂分析与流计算于一体的实时计算平台。 DolphinDB提供五大存储引擎,在一个平台内满足全部需求:引擎存储方式核心优势TSDBPAX行列混大规模数据分析与高并发点查OLAP纯列式存储长时间跨度聚合计算PKEY主键索引存储支持OLTP系统 3.3流批一体:一套代码搞定实时与历史DolphinDB允许开发者使用同一套脚本同时处理历史批量分析与实时流数据监控。 七、结语从12座水厂10万+设备的集中监控到地震台网的实时波形分析,从核反应堆的安全决策到动力电池万亿级实验数据的百倍提速——DolphinDB正在以"一体、流批一体、AI融合"的产品理念,重新定义工业时序数据处理的可能性边界 在数据驱动的时代,选择一个不仅能"得下",更能"算得快""析得深""用得好"的时序数据平台,不再是锦上添花,而是业务竞争力的根基。DolphinDB——让每一毫秒的数据价值都不被辜负。

    26800编辑于 2026-05-09
领券