首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏cwl_Java

    C++编程之美-结构之法(代码清单3-10)

    代码清单3-10 class Queue { public: Type MaxValue(Type x, Type y) { if(x > y)

    29840编辑于 2022-11-30
  • 来自专栏AI机器学习与深度学习算法

    机器学习入门 3-10 Numpy中的比较和Fancy Indexing

    如果我们想索引向量中 "第4,6,9 个元素",上面的索引和切片操作显然不能满足我们的需求。比较直观的想法是直接将三个位置的元素索引出来,然后再存储到一个新的向量中。

    1.1K20编辑于 2022-11-08
  • 来自专栏devops_k8s

    Go Protobuf(比xml小3-10倍, 快20-100倍)

    protocol buffers 是一种灵活,高效,自动化机制的结构数据序列化方法-可类比 XML,但是比 XML 更小、更快、更为简单。你可以定义数据的结构,然后使用特殊生成的源代码轻松的在各种数据流中使用各种语言进行编写和读取结构数据。你甚至可以更新数据结构,而不破坏根据旧数据结构编译而成并且已部署的程序。

    2.6K50发布于 2021-04-13
  • 来自专栏破局燎:AI写作与内容自动化实战

    3-10 人的团队买 AI 助手,先别急着按人头配个人版

    3-10人的团队买AI助手,先别急着按人头配个人版前阵子一个开工作室的朋友找我,说团队5个人要上AI助手,是不是每人开个99的月卡就够了。我让他先别下单。

    2100编辑于 2026-09-10
  • 来自专栏程序猿DD

    分布式事务、分布式锁、分布式session

    分布式系统中,要实现分布式事务,无外乎那几种解决方案。 这种分布式事务方案,比较适合单块应用里,跨多个库的分布式事务,而且因为严重依赖于数据库层面来搞定复杂的事务,效率很低,绝对不适合高并发的场景。 三、分布式锁 redis 分布式锁 redis 最普通的分布式锁 第一个最普通的实现方式,就是在 redis 里创建一个 key,这样就算加锁。 zk 分布式锁的对比 redis 分布式锁,其实需要自己不断去尝试获取锁,比较消耗性能。 redis 分布式锁大家没发现好麻烦吗?遍历上锁,计算时间等等......zk 的分布式锁语义清晰实现简单。

    1.6K20发布于 2020-09-04
  • 来自专栏沃趣科技

    信创应用|首个全栈信创数据库一体机成功上线山西证券

    经过山西证券和沃趣科技双方专家联合测试,一体机所承载的达梦数据库性能是传统达梦共享存储集群性能的2-3倍,底层IO性能是传统架构的3-10倍。 2 倍级性能提升 分布式存储IO能力较传统的集中式存储有3-10倍的提升,一体机数据库能力相比集中式存储达到2-3倍的提升。 4 多库整合-技术创新 通过QDM一体机的分布式存储可以支持达梦原生方案不支持的多库场景,实现存储资源隔离,数据库统一管理。

    1.1K60编辑于 2022-05-29
  • 来自专栏Albert陈凯

    3.5 容错机制及依赖

    3.5 容错机制及依赖 一般而言,对于分布式系统,数据集的容错性通常有两种方式: 1)数据检查点(在Spark中对应Checkpoint机制)。 窄依赖与宽依赖关系如图3-10所示。 插图 图3-10 两种依赖关系 从图3-10可以看出对依赖类型的划分:根据父RDD分区是对应一个还是多个子RDD分区来区分窄依赖(父分区对应一个子分区)和宽依赖(父分区对应多个子分区)。

    1.3K70发布于 2018-04-04
  • 来自专栏码上遇见你

    分布式基础概念-分布式缓存

    score进行排序就可以得到坐标附近的其它元素,通过将score还原成坐标值就可以得到元素的原始坐标HyperLogLog:统计不重复数据,用于大数据基数统计Streams:内存版的kafka数据库实现分布式锁的问题及解决方案利用唯一约束键存储 直到获取锁不可重入,如果加锁的方法需要递归,则第二次插入会失败,可以使用记录线程标识解决重入问题死锁,删除锁失败、则其他线程没办法获取锁,可以设置超时时间、使用定时任务检查数据库单点故障,数据库高可用Redis分布式锁实现 ,计数)异步复制可能造成锁丢失,使用redLock解决顺序向五个节点请求加锁根据一定的超时时间来推断是不是跳过该节点三个节点加锁成功并且花费时间小于锁的有效期认定加锁成功往期精彩系列推荐对线面试官系列分布式基础概念系列我正在参与

    40310编辑于 2023-11-22
  • 来自专栏码上遇见你

    分布式基础概念-分布式缓存

    score进行排序就可以得到坐标附近的其它元素,通过将score还原成坐标值就可以得到元素的原始坐标 HyperLogLog:统计不重复数据,用于大数据基数统计 Streams:内存版的kafka 数据库实现分布式锁的问题及解决方案 不可重入,如果加锁的方法需要递归,则第二次插入会失败,可以使用记录线程标识解决重入问题 死锁,删除锁失败、则其他线程没办法获取锁,可以设置超时时间、使用定时任务检查 数据库单点故障,数据库高可用 Redis分布式锁实现 异步复制可能造成锁丢失,使用redLock解决 顺序向五个节点请求加锁 根据一定的超时时间来推断是不是跳过该节点 三个节点加锁成功并且花费时间小于锁的有效期 认定加锁成功 往期精彩系列推荐 对线面试官系列 分布式基础概念系列

    43010编辑于 2023-11-22
  • 来自专栏single云社区

    分布式详解】一致性算法、全局唯一ID、分布式锁、分布式事务、 分布式缓存、分布式任务、分布式会话

    分布式相关。 一致性算法 什么是分布式系统的副本一致性?有哪些? 自Paxos问世以来就持续垄断了分布式一致性算法,Paxos这个名词几乎等同于分布式一致性, 很多分布式一致性算法都由Paxos演变而来 分布式算法 - Raft算法 Paxos是出了名的难懂,而Raft 分布式锁 有哪些方案实现分布式锁? Consul 做分布式锁 基于数据库如何实现分布式锁? 分布式缓存 分布式系统中常用的缓存方案有哪些?

    1.8K21编辑于 2024-01-11
  • 来自专栏码上遇见你

    分布式基础概念-分布式事务

    分布式事务有哪些解决方案 基于XA协议的:两阶段提交和三阶段提交,需要数据库层面支持 基于事务补偿机制的:TCC,基于业务层面实现 本地消息表:基于本地数据库+mq,维护本地状态(进行中),通过mq调用服务

    50220编辑于 2023-10-30
  • 来自专栏码上遇见你

    分布式基础概念-分布式缓存

    加互斥锁分布式系统中常用的缓存方案有哪些?

    42510编辑于 2023-11-17
  • 来自专栏码上遇见你

    分布式基础概念-分布式缓存

    分布式缓存寻址算法hash算法:根据key进行hash函数运算、结果对分片数取模,确定分片适合固定分片数的场景。 哨兵用于实现redis集群的高可用,本身也是分布式的,作为一个哨兵集群去运行,互相协同工作。 故障转移时,判断一个master node是否宕机了,需要大部分的哨兵都同意才行,涉及到了分布式选举即使部分哨兵节点挂掉了,哨兵集群还是能正常工作的哨兵通常需要3个实例,来保证自己的健壮性。 能力客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可高性能,客户端直连redis服务,免去了proxy代理的损耗缺点运维也很复杂,数据迁移需要人工干预只能使用0号数据库不支持批量操作(pipeline管道操作)分布式逻辑和存储模块耦合等

    49730编辑于 2023-11-21
  • 来自专栏CodingToDie

    分布式 | 分布式锁的实现

    分布式锁的实现 在常见的分布式锁中有以下三种实现: Redis 实现 Zookeeper 实现 数据库实现 ---- 1. 基于Redis 的实现 在 Redis 中有个3个重要命令,通过这三个命令可以实现分布式锁 setnx key val:当且仅当key不存在时,set一个key为val的字符串,返回1;若key存在,则什么都不做 基于 Zookeeper 的实现 2.1 实现原理 基于zookeeper临时有序节点可以实现的分布式锁。

    1.1K20发布于 2021-03-18
  • 来自专栏服务端技术杂谈

    分布式系统分布式事务

    分布式系统首先面对的问题是分布式事务 当我们采用分布式来提高系统性能时,首先面对的问题是面对和处理分布式事务。 分布式系统处理数据: 数据分区:把数据块放在不同的服务器上,采用一致性hash; 数据镜像:让所有服务器都有相同的数据,提供相同的服务; 第一种问题,单台机器出现问题,会存在数据丢失的问题。 这就是数据副本:出现某个节点的数据丢失时可以从副本读到,数据副本是分布式系统解决数据丢失的唯一手段。

    1.2K81发布于 2018-04-16
  • 来自专栏码上遇见你

    分布式基础概念-分布式存储

    基因法:分区键的后x个bit位由查询字段进行hash后占用,分区键直接取x个bit位获取分区,查询字段进行hash获取分区,适合非分区键查询字段只有一个的情况 冗余:查询字段冗余存储 Session的分布式方案

    92520编辑于 2023-11-13
  • 来自专栏涓流

    分布式理论与分布式事务

    CAP权衡 在分布式系统中,CAP三者目前是无法同时满足的,所以我们要在不同的业务场景中做不同的权衡 CA 这个情况基本上是不会选择的,因为分布式系统下,网络分区是一个必然的选项。 ,实现分布式一致性。 本地消息表 本地消息表是一种最终一致性的分布式事务处理方案, 适用于不需要强一致性的场景。 参考资料 分布式事务框架Fescar 分布式事务 TCC分布式事务 事务基础与分布式事务 分布式理论BASE 2PC协议 3PC协议 TCC型分布式事务原理和实现 用MQ来保证分布式事务的最终一致性 腾讯 KM-万字长文总结分布式事务

    95510编辑于 2022-06-28
  • 来自专栏码上遇见你

    分布式基础概念-分布式缓存

    分布式缓存寻址算法 hash算法: 根据key进行hash函数运算、结果对分片数取模,确定分片适合固定分片数的场景。 哨兵用于实现redis集群的高可用,本身也是分布式的,作为一个哨兵集群去运行,互相协同工作。 故障转移时,判断一个master node是否宕机了,需要大部分的哨兵都同意才行,涉及到了分布式选举 即使部分哨兵节点挂掉了,哨兵集群还是能正常工作的 哨兵通常需要3个实例,来保证自己的健壮性。 连接集群中任何一个可用节点即可 高性能,客户端直连redis服务,免去了proxy代理的损耗 缺点 运维也很复杂,数据迁移需要人工干预 只能使用0号数据库 不支持批量操作(pipeline管道操作) 分布式逻辑和存储模块耦合等 连接不能共享,当应用规模增大时,资源浪费制约优化 也可参考对线面试官系列文章: 对线面试官 Redis | 十 Redis集群模式 往期精彩内容推荐 分布式基础概念系列 对线面试官系列

    38000编辑于 2023-11-22
  • 来自专栏IT大咖说

    Zookeeper技术:分布式架构详解、分布式技术详解、分布式事务

    一、分布式架构详解 1、分布式发展历程 1.1 单点集中式 特点:App、DB、FileServer都部署在一台机器上。并且访问请求量较少 ? 1.7 分布式文件系统和分布式数据库 特点:数据库采用分布式数据库,文件系统采用分布式文件系统 随着业务的发展,最终数据库读写分离也将无法满足需求,需要采用分布式数据库和分布式文件系统来支撑 分布式数据库是数据库拆分后的最后方法 二、 分布式技术详解 1. 并发性 2. 分布性 大任务拆分成多个任务部署到多台机器上对外提供服务 3. 缺乏全局时钟 时间要统一 4. 对等性 一个服务部署在多台机器上是一样的,无任何差别 5. 三、分布式事务 1. ACID 原子性(Atomicity):一个事务(transaction)中的所有操作,要么全部完成,要么全部不完成,不会结束在中间某个环节。 (服务降级、页面降级) 软状态:允许分布式系统出现中间状态。

    1K40发布于 2019-10-14
  • 来自专栏同步文章

    分布式

    什么是分布式架构下的高可用设计 避免单点故障 a) 负载均衡技术(failover/选址/硬件负载/ 软件负载/去中心化的软件负载(gossip(redis- cluster))) b) 热备( 异地灾备) 应用的高可用性 a) 故障监控(系统监控(cpu、内存)/链路监控/日志监 控) 自动预警 b) 应用的容错设计、(服务降级、限流)自我保护能力 c) 数据量(数据分片、读写分离) 分布式架构下的可伸缩设计

    64810编辑于 2022-10-25
领券