首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏刘旷专栏

    重兵集结,腾讯、华为齐聚分布式

    配图来自Canva可画随着技术与架构的快速迭代,继公有、私有、混合后,计算开始加速向分布式演进。据Gartner预测,到2025年将有超过50%的组织,选择使用分布式推动业务转型。 巨头集结分布式赛道2019年,分布式首次被提出,随后Gartner在研究报告中,进一步定义分布式:指服务提供商将公有服务分发到不同的物理位置,由CSP统一负责服务的运营、治理、更新和演进,将服务交付地理位置作为其定义一部分的模型 就相同点而言,无论是华为的瑶光分布式操作系统,还是其多云协同、统一调度的管理方式两家都较为相近;不过,华为在做分布式的时候,主要采用分布式X原生重构基础设施的方式,为企业铺就全面化、全栈智能之路 据华为披露的数据显示,早前原生研发应用让其内部资源复用效率提升了3倍,部署效率提升了10倍,其中华为消费者为全球200多个国家和地区的6.7亿用户,提供超强弹性的资源获取和伸缩能力,这无疑是其内部分布式的最好体现 总之,在华为分布式战略之中,其核心重点在于将原生的构建能力,与分布式资源的调用能力和服务能力发挥到最大,从而达到全栈智能和全面化的服务效果。分布式迎来黄金赛点?

    81520编辑于 2022-07-11
  • 来自专栏世民谈云计算

    从混合分布式 (下篇)

    上篇:从混合分布式 (上篇) 三、混合案例 《从混合分布式 (上篇)》(以下简称《上篇》)发出来后,有位老友转发了文章并添加了评论“混合除了出现在PPT,现实是不存在的”。 图1 一混合案例 现代应用往往是分布式的,包括多个模块,每个模块可独立地部署成一个服务。比如一个应用的灾备模块,同样是这个应用的一个重要组成部分。 在一些场景中,我们会看到,一个应用的有些模块,部署在私有上,而其它模块部署在公有上。 3、针对混合模式的各种支撑产品也是在不断演进的。 针对混合模式的各种支撑产品也是在不断演进的。 图2 华为的Karmada 来源:华为官网 四、分布式典型案例 - AWS 笔者认为,AWS具备了分布式当下几乎所有特性。下文从几个方面来进行介绍。 公有、私有、混合分布式等等,计算行业一直在推陈出新,各种计算形态层出不穷,让计算业态变得越发五彩斑斓、丰富多彩。 让计算的发展来得更猛烈些吧!

    1.9K50编辑于 2022-12-05
  • 来自专栏世民谈云计算

    从混合分布式 (上篇)

    3:Hybrid cloud strategies for all organizations 来源:State of the Cloud Report 2022,Flexera 而图4所示的混合云和多云场景中 二、分布式 (一)Gartner眼中的分布式 2019年,Gartner首次提出“分布式”概念,随后在其研究报告中,进一步提出了分布式的定义:分布式(Distributed Cloud), 图7 :Style of Distribution 来源:《‘Distributed Cloud’ Fixes What ’Hybrid Cloud’ Breaks》, Gartner 3分布式发展的两个阶段 图9是信通院和腾讯分布式的定义: 图9:分布式的定义 来源:《分布式发展白皮书》,腾讯云和信通院 该报告指出分布式具备以下关键能力: 分布式基础设施推动算力资源无处不在:分布式的重要目标 原生技术推动分布式应用全面治理和服务无处不在:分布式通常基于K8S,以原生应用为中心,向下屏蔽分布式的基础设施,提供统一应用运行环境。

    1.1K30编辑于 2022-12-05
  • 来自专栏腾讯专有云

    分布式专场来了!

    2023腾讯全球数字生态大会将于9月7日-8日举行 分布式专场将于9月7日 14:00~17:00举行 这里 不仅有技术演进与发展 更有金融、工业、制造、能源、交通等行业客户实战实践!

    23240编辑于 2023-09-01
  • 来自专栏FreeBuf

    分布式CIO指南

    新一代的打包式混合产品可以帮助减少这些影响。分布式作为下一代,在扩展计算范围和用例的同时,保留了计算的优势。CIO可以用分布式模型来定位需要依赖于位置的上用例。 分布式的未来 实际上,分布式的发展将分为两个阶段。 分布式也会面临挑战 在分布式模型中,广泛采用该模型之前必须先解决一些问题。例如: 在分布式分支上有多少公有功能是可用的? 虽然这不是分布式的定义,但它可以决定哪种类型的分布式是必需的(因素之一)——是完全分布式还是部分分布式。 将会出现哪些分布式分支的自定义场景? 分布式分支必须始终保持连接,还是可以在不同的连接条件下运行? CIO应该考虑的 在CIO眼中,分布式概念将指导的演进路线。

    51110编辑于 2023-04-26
  • 来自专栏罗西的思考

    PyTorch 分布式(3) ----- DataParallel(下)

    [源码解析] PyTorch 分布式(3) ----- DataParallel(下) 目录 [源码解析] PyTorch 分布式(3) ----- DataParallel(下) 0x01 前向操作 现在要做的就是把分布式计算的梯度合并到 device[0],就是 self.output_device。 0xFF 参考 PyTorch 源码解读之 torch.optim:优化算法接口详解 pytorch(分布式)数据并行个人实践总结——DataParallel/DistributedDataParallel Pytorch的nn.DataParallel PyTorch 源码解读之分布式训练了解一下? Pytorch踩坑记:赋值、浅拷贝、深拷贝三者的区别以及model.state_dict()和model.load_state_dict()的坑点 PyTorch 源码解读之 DP & DDP:模型并行和分布式训练解析

    1.2K30发布于 2021-11-15
  • 来自专栏科技云报道

    分布式元年,为何边协同如此重要?

    《十四五规划和2035年远景目标纲要》中提出要“协同发展服务与边缘计算服务”,一种满足更广连接、更低时延、更全局化需求的计算新模式——分布式应运而生。 作为计算从单一数据中心部署向不同物理位置多数据中心部署、从中心化架构向分布式架构扩展的新模式,分布式计算的能力从中心向边缘延伸。 边协同是分布式云中非常重要的特性,那么为何边协同那么重要? 众所周知,边缘计算是将基础设施资源进行分布式部署再统一管理的。资源较为集中的称为“中心”,资源量较少的部署点称为“边缘”。 不同于把大量的资源整合的中心,边缘平台更是一个分布式的平台。 场景3边协同是工业互联网的重要支柱 在工业互联网场景中,边缘设备只能处理局部数据,无法形成全局认知,在实际应用中仍然需要借助计算平台来实现信息的融合。

    1.1K10编辑于 2022-04-16
  • 来自专栏腾讯云存储

    2021全球分布式大会,腾讯存储斩获分布式存储运营领袖奖

    12月16日,以“引领分布式变革 助力湾区数字经济”为主题的全球分布式大会在深圳隆重召开,腾讯存储凭借车载斗量的存储规模及用户量,在一众企业中脱颖而出,荣获“分布式存储运营领袖奖”。 因此,在2021 GDCC 全球分布式大会现场中,由主办方发起了分布式奖项评选,通过初步遴选和网络投票以及业内最权威技术专家组最终评估,对腾讯存储进行全方位的评定,最终评定腾讯存储荣获“分布式存储运营领袖奖 在分布式存储专题论坛上,腾讯高级产品经理匡浩先生就腾讯分布式存储面临的挑战、如何定制存储策略、传统存储迁移的难点等做出了详细介绍。 Q:分布式存储数据会面临哪些安全挑战? 腾讯对象存储 COS 承载着腾讯内外部百万客户的 EB 级数据规模,在提供高可靠、高性价比的分布式存储底座的同时,向上贴合客户业务,提供高性能原生数据湖架构方案、丰富的数据处理架构方案、针对于本地化部署的 为客户提供完整的分布式数据库解决方案。 最后:在数字化变革之际,腾讯存储也将在分布式存储赛道上持续加码,助力企业快速实现全面化与全栈智能,让用户轻松搭上这趟前往云端的高速列车。 — END —

    1.2K20编辑于 2022-01-10
  • 来自专栏用户5909132的专栏

    2021全球分布式大会,腾讯存储斩获分布式存储运营领袖奖

    12月16日,以“引领分布式变革 助力湾区数字经济”为主题的全球分布式大会在深圳隆重召开,腾讯存储凭借车载斗量的存储规模及用户量,在一众企业中脱颖而出,荣获“分布式存储运营领袖奖”。 因此,在2021 GDCC 全球分布式大会现场中,由主办方发起了分布式奖项评选,通过初步遴选和网络投票以及业内最权威技术专家组最终评估,对腾讯存储进行全方位的评定,最终评定腾讯存储荣获“分布式存储运营领袖奖 在分布式存储专题论坛上,腾讯高级产品经理匡浩先生就腾讯分布式存储面临的挑战、如何定制存储策略、传统存储迁移的难点等做出了详细介绍。 分布式存储数据会面临哪些安全挑战? 腾讯对象存储 COS 承载着腾讯内外部百万客户的 EB 级数据规模,在提供高可靠、高性价比的分布式存储底座的同时,向上贴合客户业务,提供高性能原生数据湖架构方案、丰富的数据处理架构方案、针对于本地化部署的 为客户提供完整的分布式数据库解决方案。 最后:在数字化变革之际,腾讯存储也将在分布式存储赛道上持续加码,助力企业快速实现全面化与全栈智能,让用户轻松搭上这趟前往云端的高速列车。 — END —

    86520编辑于 2022-01-12
  • 来自专栏yiyun 的专栏

    分布式计算 单元测验

    (B) A.2048 B.1024 C.1000 D.512 3单选(2分)以下关于计算、大数据和物联网之间的关系,论述错误的是:(A) A.计算侧重于数据分析 B.计算、大数据和物联网三者紧密相关 流计算 15多选(3分)计算的典型服务模式包括三种:(A,B,C) A. fs 第3分布式文件系统HDFS 单元测验 1单选(2分)HDFS的命名空间不包含:(D) A.块 B.目录 C.文件 D.字节 2单选(2分)对HDFS通信协议的理解错误的是:(A) A.HDFS HDFS的描述正确的是:(C) A.分布式文件系统HDFS是一种关系型数据库 B.分布式文件系统HDFS比较适合存储大量零碎的小文件 C.分布式文件系统HDFS是谷歌分布式文件系统GFS(Google File System)的一种开源实现 D.分布式文件系统HDFS是Google Bigtable的一种开源实现 7多选(3分)以下对名称节点理解正确的是:(A,B,D) A.名称节点通常用来保存元数据

    2.1K20编辑于 2022-04-01
  • 来自专栏网络技术联盟站

    为什么说分布式才是计算的未来?

    分布式架构增强了传统的优势,增加了更多的边缘处理能力和地理特定的数据管理。 [1630068595286-image.png] 越来越多的公司正转向分布式,这是一种全新的计算方法。 Gartner的分析师将分布式计算列为2021年十大技术趋势之一。让我们看看为什么分布式对业务有益,以及它们有什么优势。 什么是分布式? 分布式是一种服务,它允许您使用集中的资源,可以在本地设备上启动计算进程。服务提供商可以在集中式和区域性数据中心管理设备,这对于分布式来说是不够的。 分布式与混合有何不同? 现在分布式进入了竞争市场,虽然这只是一种趋势,并不常见,但许多人将其与混合混为一谈。 分布式支持边缘计算,也扩展了环境,但是是地理上的。 分布式的优势是什么? 具有相关边缘计算的分布式是一种趋势,业务需求已经发生了变化,混合基础设施也不再适合公司,尤其是大型公司。

    3.4K30发布于 2021-11-08
  • 来自专栏大数据在线

    角力分布式,腾讯最强牌面成色如何?

    所以,业界经历公有、私有、混合之后,愈发在市场方向上形成共识:分布式。 如今,分布式彻底火了。 正如腾讯副总裁、与智慧产业事业群COO兼腾讯总裁邱跃鹏所言:“在强大的硬件基础设施之上,腾讯将通过分布式构建无所不在的服务。” 01 分布式为何成为最大趋势 何为分布式? Gartner也认为,从集中式公有分布式公有的演进,开启了计算的新时代,到2025年有超过50%的组织会选用分布式。 02 腾讯遨驰:分布式的最强牌面 与过去混合或者混合IT相比,分布式带来的核心价值在于可以就近交付公有资源,进一步降低运营等各项成本,同时在分布式节点中采用相同的控制平台和接口,以实现使用体验和管理的一致性 03 分布式,腾讯战略布局重要一环 未来十年,分布式已然成为计算市场最大的角力点。 放眼当下,各大服务商都在积极布局分布式

    82830发布于 2021-11-25
  • 来自专栏有困难要上,没有困难创造困难也要上!

    Hadoop3-分布式模式安装

    接前一篇博客,这次做安装一个真正的分布式集群环境。 准备 这里准备三台机器bd1,bd2,bd3来组个hadoop集群,其中bd1作为namenode,bd1,bd2,bd3作为datanode 配置这三台机器之间可以免密码 SSH 登录,参考我以前的博客 > etc/hadoop/hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>3< /value> </property> </configuration> 这里由于我三个节点均作为datanode,所以复制配置3。 yarn.nodemanager.vmem-pmem-ratio</name> <value>4</value> </property> </configuration> etc/hadoop/workers bd1 bd2 bd3

    59650发布于 2018-05-14
  • 来自专栏小白晋级大师

    分布式系统架构3:服务容错

    这是小卷对分布式系统架构学习的第3篇文章,虽然知道大家都不喜欢看纯技术文章,写了也没多少阅读量,但是个人要成长的话,还是需要往深一点的技术上去探索的1.为什么需要容错分布式系统的本质是不可靠的,一个大的服务集群中 2.七种容错策略7种常见的容错策略:故障转移、快速失败、安全失败、沉默失败、故障恢复、并行调用和广播调用故障转移Failover概念:分布式服务中,服务会有多个副本。 实际应用场景:分布式系统中,单点故障时,流量调度系统不再给该节点分配流量,每隔5分钟自动检查节点是否恢复。 因为做技术设计是为了解决实际问题,不能谈兵,所以方案要根据希望实现的目标而定: 如果目的是这项业务尽可能快速地完成,那就forking策略,5个一起调用,成功3个算过。 如果目的是这项业务尽可能少消耗资源,那就failfast策略,先对它们出错概率做个先验判断,排序后先调用最容易出错的,错够3次算失败,后面的不执行。

    42110编辑于 2024-12-18
  • 来自专栏chester技术分享

    .NET分布式Orleans - 3 - Grain放置

    在Orleans 7中,Grain放置是指确定将Grain对象放置在Orleans集群中的哪些物理节点上的过程。

    48910编辑于 2024-03-25
  • 来自专栏Java那些事

    Redis(3)——分布式锁深入探究

    所以同样,我们需要引入分布式锁来解决分布式应用之间访问共享资源的并发问题。 = redissionInstance1.getLock("lock1"); RLock lock2 = redissionInstance2.getLock("lock2"); RLock lock3 = redissionInstance3.getLock("lock3"); RedissionRedLock lock = new RedissionLock(lock1, lock2, lock2 release lock failed, requestToken:{}, result:{}", identify, result); return false; } 引用自下方 参考资料 3, https://github.com/redisson/redisson 手写一个 Jedis 以及 JedisPool - https://juejin.im/post/5e5101c46fb9a07cab3a953a

    63820发布于 2020-03-13
  • 来自专栏绿盟科技研究通讯

    原生安全】从分布式追踪看原生应用安全

    在CNCF给出的原生参考体系(Cloud Native Landscape)[3]中,将可观察性(Observability)和分析(Analysis)放在了同一个维度。 3.1OpenTracing 随着微服务、原生等应用新架构的发展,分布式追踪系统的需求以及优势越来越明显。 图3 OpenTracing分层架构图 从上述架构图可以看出,基于OpenTracing的分布式追踪系统,上层的应用程序、类库、运营支撑服务、远程调用框架等,都可以直接使用OpenTracing定义的标准接口来描述和传递分布式追踪数据 四、原生应用安全 前文介绍了在原生架构下,可以通过分布式追踪系统,实现对原生应用的可观察性追踪。根据追踪数据,进而实现对应用的性能分析、故障定位等。 接下来本章将介绍,基于分布式追踪系统获取的可观察性数据,如何实现原生应用的安全检测与防护。 4.1什么是原生应用安全 应用安全是指应用级别的安全措施,旨在保护应用内的数据或代码免遭窃取和劫持。

    1.2K10发布于 2020-12-30
  • 来自专栏腾讯云服务器团队的专栏

    腾讯分布式彰显行业领先地位

    这代表腾讯分布式服务能力再获国家权威认可,充分印证了腾讯分布式领域的领导优势。 今年以来,分布式成为了计算领域关注的焦点,以腾讯为代表的厂商积极布局分布式生态。 今年11月,腾讯首次正式对外公布分布式战略,同时发布行业首家全域治理的原生操作系统遨驰 Orca。 作为腾讯分布式战略的载体,原生操作系统遨驰是目前业界唯一一个支持服务器、容器、函数混合调度的原生操作系统。 值得一提的是,12月15日,在以“引领分布式变革 助力湾区数字经济”为主题的“2021全球分布式大会”上,腾讯也荣获“2021年度分布式领导力企业TOP3”,这也进一步证明了腾讯分布式领域的布局和落地位居国内领导地位 相信随着腾讯在分布式领域的投入将为粤港澳大湾区数字经济发展注入新活力,助力中国分布式计算发展再上新台阶。

    2.4K50编辑于 2022-01-04
  • 来自专栏python3

    3D标签

         经常会看到PC端网页的首页右边靠下的区块会有一些类似于“云朵'一样的标签(a标签),鼠标移动上去会有轻微的浮动,每次加载,颜色都不一样,好奇之下,尝试的也写了一个,帮助朋友们做一个类似相关的友情链接时,显得更加有吸引力。

    1.3K20发布于 2020-01-14
  • 来自专栏yiyun 的专栏

    分布式计算 测验题

    第2章 大数据处理架构Hadoop 单元测验 image-20201216214556400 image-20201216214622576 image-20201216214751851 第3分布式文件系统HDFS 单元测验 image-20201216225053726 image-20201216225117992 image-20201216225136714 image-20201216225201361 image-20201216225225621 第4章 分布式数据库HBase单元测验 image-20201216230508375 image-20201216230830133 image

    70220编辑于 2022-04-01
领券