- 综合排序
- 最热优先
- 最新优先
- 来自专栏技术杂记
Mysql复制数据一致性检查2
修复数据不一致 使用 pt-table-sync 来进行数据不一致修复 pt-table-sync synchronizes data efficiently between MySQL tables ，所以要非常慎重，三思而后行 它并非在slave上执行操作，修改不一致数据，而是在master上重新插入当前值，通过同步而影响slave，从而解决数据的不一致(指定用户需要足读写权限) Note: pt-table-sync [mysql@replication-check-vm ~]$ pt-table-sync --replicate test.checksum h=slave-vm,u=root --ask-pass databases=abc_test_db --tables=users --print > /tmp/users.sql Enter password for slave-vm: [mysql 这个工具好在，业务在线时可以执行，不会对系统造成很大影响(会产生一定量的读IO，但不会产生有明显业务影响的锁)，特别是在大表，核心表数据一致性检查时太能解渴了 ---- 原文地址
51010编辑于 2022-04-23 - 来自专栏MySQLBeginner
MySQL 数据归档实战 -Python 和 pt-archiver 的强强结合
于是用python倒腾了一个小工具—mysql_archiver小工具，github地址：https://github.com/dbarun/mysql_archiver ? 二、mysql_archiver 2.1 归档调度 db_archive_exec.py，从数据库获取归档任务的基本信息，调用pt-archiver进行操作 2.1.1 表结构设计 表db_archive_info 2.1.4 部署crontab 执行db_archive_exec.py需要指定两个参数， 参数1：db ip/域名 参数2：db schema 如：python db_archive_exec.py 2.3.1 表结构设计 表db_archive_report_weekly，主要存放数据库归档周报数据 ? MySQL_archiver基本上实现了数据归档的自动运转，统一的归档任务调度管理、自动监控和预警、自动生成报表。在一定程度上节约了生产力，提高了运维效率。
1.5K20发布于 2019-02-27 - 来自专栏MySQL
【赵渝强老师】MySQL的数据约束
，可以使用下面的语句：mysql>altertabletestprimarykeyaddprimarykey(id,name);（2）往testprimarykey表中插入数据。 ERROR1062(23000):Duplicateentry'1'forkey'testprimarykey.PRIMARY'二、外键约束（foreignkey）外键通常会和主键约束一起使用，用来确保数据的一致性 mysql>insertintotestchildvalues(2,'Mike',1);#提示：这三条insert语句都将成功插入数据。 ;（2）往表testunique中插入数据。 <10000));（2）往表testcheck中插入数据展开代码语言：SQLAI代码解释mysql>insertintotestcheckvalues(1,'Tom',9000);mysql>insertintotestcheckvalues
16710编辑于 2025-12-31 - 来自专栏企鹅号快讯
MySQL数据归档实战-python和pt-archiver的强强结合
于是用python折腾了一个小工具…… 二，mysql_archiver 2.1 归档调度 db_archive_exec.py，从数据库获取归档任务的基本信息，调用pt-archiver进行操作 2.1.1 主要存放归档任务的执行日志 2.1.2 获取归档任务 2.1.3 调用pt-archiver 2.1.4 部署crontab 执行db_archive_exec.py需要指定两个参数，参数1：db ip/域名 参数2： 2.3.2 数据库视图设计 视图vw_db_archive_report_weekly，计算前一周的数据库归档情况 2.3.3 生成邮件内容 三，小结 开发运维工具，说白了，就是为了避免重复的运维工作 mysql_archiver基本上实现了数据归档的自动运转，统一的归档任务调度管理、自动监控和预警、自动生成报表。在一定程度上节约了生产力，提高了运维效率。 mysql_archiver也是存在很多缺点的，比如：python代码有点臃肿，不够简洁；缺少可视化的操作界面，如果能有一套运维平台，那就完美了。 期待各路大神的交流、指点……
2.2K80发布于 2018-02-28 - 来自专栏MySQLBeginner
MySQL数据归档实战-Python和pt-archiver的强强结合
导读 作者：蓝剑锋 TCL高级DBA，MySQL&Oracle OCP 知数堂MySQL实战/优化班第12期学员 微信：lanjian106103 个人公众号：DBARUN ? 于是用python倒腾了一个小工具—mysql_archiver小工具，github地址：https://github.com/dbarun/mysql_archiver ? 二、mysql_archiver 2.1 归档调度 db_archive_exec.py，从数据库获取归档任务的基本信息，调用pt-archiver进行操作 2.1.1 表结构设计 表db_archive_info 2.1.4 部署crontab 执行db_archive_exec.py需要指定两个参数， 参数1：db ip/域名 参数2：db schema 如：python db_archive_exec.py MySQL_archiver基本上实现了数据归档的自动运转，统一的归档任务调度管理、自动监控和预警、自动生成报表。在一定程度上节约了生产力，提高了运维效率。
1.1K20发布于 2019-04-24 - 来自专栏分布式架构
ZooKeeper的顺序一致性属于强一致性？
说到ZooKeeper到底是强一致性，还是最终一致性，相信大家一定能搜到大量互相打架的文章。 在数据库中，为了提高数据库对外性能，通常采用写MVCC等。而且生产实践中，我们通常认为数据库是强一致性的，而数据库的隔离级别通常默认是RC(注1)，存在幻读等并发控制问题。 综上所述，我们可以知道强一致性具有一定的模糊性和习惯性，因此我们可以认为强一致性是一种统称，那么我们怎么判断强一致性和最终一致性呢？这需要我们通过场景来实际分析。 注1：MySQL的RR其实是利用MVCC + RC来实现。 注2：关于强和弱的定义，可以参考剑桥大学的slide image.png ZooKeeper 是一项高性能、可扩展的服务。 总结一下：Zookeeper并不保证读取的是最新数据：实现了CAP中的A-可用性、P-分区容错性、C-写入强一致性，丧失了C-读取一致性。
3K31编辑于 2021-12-06 - 来自专栏分布式架构
ZooKeeper的顺序一致性属于强一致性？
- 什么是强一致性 - 说到zab到底是强一致性，还是最终一致性，相信大家一定能搜到大量互相打架的文章。 在数据库中，为了提高数据库对外性能，通常采用写MVCC等。而且生产实践中，我们通常认为数据库是强一致性的，而数据库的隔离级别通常默认是RC注1，存在幻读等并发控制问题。 注1：MySQL的RR其实是利用MVCC + RC来实现。 综上所述，我们可以知道强一致性具有一定的模糊性和习惯性，因此我们可以认为强一致性是一种统称，那么我们怎么判断强一致性和最终一致性呢？ 总结一下：Zookeeper并不保证读取的是最新数据：实现了CAP中的A-可用性、P-分区容错性、C-写入强一致性，丧失了C-读取一致性。 笔者通常认为在分布式系统大部分场景中，只要达到线性写，顺序读这样的级别就可以认为是强一致性。
78721编辑于 2021-12-20 - 来自专栏技术杂记
Mysql复制数据一致性检查
前言 Percona Toolkit 是一系列进行mysql管理的工具，强大而高效，可以完成很多复杂的工作，是mysql数据库运维工程师居家旅行必备的良品。 Maatkit 和 Aspersa 演化而来，由 percona 收集整理和维护而成 其中有两个特别有用的工具 pt-table-checksum 和 pt-table-sync ，分别可以用来进行主从一致性检查 ，和不一致数据修复 下面分享一下Mysql复制数据一致性检查的基本操作，详细可以参阅 官方文档 Tip: 目前官方版本是 Percona Toolkit 2.2.16 ---- 概要 ---- 下载安装 ] 143 kB/s | 312 kB 00:09 ETA (2/2): percona-toolkit-2.2.16-1.noarch.rpm (43%) 42% [============ "Percona MySQL Development Team <mysql-dev@percona.com>" from /etc/pki/rpm-gpg/RPM-GPG-KEY-Percona Is
42910编辑于 2022-04-23 mysql和redis数据一致性
2.为什么需要5秒时间限制？1. 数据库操作延迟数据库更新操作（尤其是高并发场景）可能耗时较长。5秒限制：确保数据库有足够时间完成更新，避免缓存提前删除。2. 更新数据时，先更新mysql,redis等缓存失效的时候，再从mysql查询，接着写入redis逻辑清晰，可控性强代码侵入性大，可能出现数据不一致适用于高并发读写场景Binlog 监听同步解析 MySQL Binlog 并同步到 Redis（如 Canal）自动化同步，降低应用层负担存在延迟，数据一致性需优化高吞吐量业务，如订单、库存定时同步（批量同步）定时查询 MySQL 并批量刷新 Redis适合低频变更 ，避免实时写入开销数据延迟，可能影响实时性适用于统计类数据（如报表、排行榜）触发器同步通过 MySQL 触发器在变更时更新 Redis实时同步，应用层无侵入影响 MySQL 性能，不适用于分布式适用于小规模数据变更消息队列 （MQ）同步MySQL 写入后，发送 MQ 消息，消费端更新 Redis高可靠性，可保证最终一致性依赖 MQ，增加架构复杂度适用于金融、电商等高一致性场景延迟双删先删 Redis → 更新 MySQL
27800编辑于 2025-03-16- 来自专栏技术杂记
Mysql复制数据一致性检查1
检查数据不一致 使用 pt-table-checksum 进行不一致数据检查 pt-table-checksum performs an online replication consistency check 检查示例 [mysql@replication-check-vm ~]$ pt-table-checksum --nocheck-replication-filters --nocheck-binlog-format replicate=test.checksum --tables abc_test_db.users h=replication-check-vm,u=root --ask-pass Enter MySQL 使用逗号分割 --databases 指定要检查的库，可以是一个列表，使用逗号分割 h=xxx,u=xxx DSN选项,h代表host,u代表用户名,使用逗号分割 --ask-pass 使用提示密码的方式连接数据库 ，而不是使用DSN指定，更安全 Note: 此时的DSN要指定master，并且首先要解决对于数据库的读写权限问题 Tip: 可以一次指定多个表进行检查，中间使用逗号分隔 [mysql@replication-check-vm
36910编辑于 2022-04-23 - 来自专栏ops技术分享
检查mysql节点数据一致性
一.简介 源码地址 日期：2018/4/12 介绍：参考pt checksum思想改写，可以定制化的检查随意两个mysql节点的数据一致性。 功能： 检查随意两个几点的数据一致性 支持并发检查，基于库的并发 支持指定行数，如默认10000。 效果图： 二.使用 适用：centos6+ 语言：中文 注意：执行前先编辑配置文件 1.下载 git clone https://gitee.com/mo-shan/check_data_for_mysql.git1 cd check_data_for_mysql` 2.编辑配置文件 vim conf/check.conf 3.修改工作路径，将这里的check_data_for_mysql_path改成check_data_for_mysql *#work_dir=\"/check_data_for_mysql_path\"#g' bin/start.sh 4.使用 bash bin/start.sh
58240发布于 2021-06-16 - 来自专栏java学习java
java面试强基（2）
占内存大小 ： 字符常量只占 2 个字节; 字符串常量占若干个字节。 java注释有哪几种？ 单行注释。 多行注释。 文档注释。 标识符和关键字的区别是什么？
43830编辑于 2022-11-20 - 来自专栏IT大咖说
分布式强一致性数据库的灵魂 - Raft 算法
内容来源：2017 年 11 月 18 日，PingCAP首席架构师唐刘在“数据技术嘉年华——分会场五：云架构、数据架构”进行《分布式强一致性数据库的灵魂 - Raft 算法的理论和实践》演讲分享。 但是这样会存在各种各样的问题，比如数据量增大后无法承受压力，单节点如何向多节点分布，数据的一致性怎么保证，最严重的就是数据节点挂掉，数据全部丢失了。 强同步（Sync Replication）解决了异步复制（Async Replication）可能潜在的问题。 为了保证系统中N台节点挂掉后，仍然能够对外提供服务，至少需要2N+1台机器，也就是传统的Quorum，这样最少就需要三台机器，但是数量的增大也会带来更多的问题。 不过这个过程中有可能会在某一阶段出现2个Leader的情况，为了避免这种情况就要每次只变更一个节点，而不进行多节点变更。
1.7K60发布于 2018-04-18 - 来自专栏lakezhong的专栏
MySQL崩溃后的数据一致性
MySQL数据一致性大体上包括两方面：单机数据一致性和集群数据一致性，本文就围绕这两方面进行说明。 单机数据一致性 MySQL崩溃后，保证单机数据一致性主要包括两个机制：“MySQL binary log和InnoDB redo log的一致性”和“InnoDB数据文件的一致性”。 在一致性要求高的场景，保证binlog和redolog的一致性就非常重要了。 MySQL使用内部XA事务（两阶段提价，2PC）保证要么binlog和redolog同时成功或者同时失败。 这种形态的集群主要考虑的是master和slave的数据一致性。 首先介绍一下主备数据同步的流程，图2简化地展示了这个过程。 数据丢失； 恢复主库。磁盘不损坏时数据不丢失，但相对于主备切换，恢复时间较长；磁盘损坏时，主库无法恢复，数据丢失； MySQL-异步复制.png 2.
3.1K81发布于 2020-02-07 - 来自专栏待你如初见
Mysql数据库2
数据库约束约束的作用: 保证数据的完整性. //MySQL中默认情况下,一条语句是一个事务, 事务会自动提交. //Oracle中默认事务是不提交的, 需要手动提交事务.MySQL事务管理的命令:start transaction;//开启事务SQL语句1;//要执行的SQL语句SQL语句2;commit//提交事务 原子性.强调事务的多个操作不可分割.2. 一致性.强调事务执行的前后, 数据完整性保持一致.3. 隔离性强调事务执行过程中, 不应该受到其他事务的干扰.4. 持久性强调事务一旦结束, 数据就持久到数据库中.如果不考虑事务的隔离性, 有可能会引发一些安全性的问题.读的方面:脏读:指的是一个事务读到另一个事务未提交的数据.不可重复读: 指的是一个事务读到了另一个事务已经提交的
88330编辑于 2022-08-30 - 来自专栏PingCAP的专栏
读 TiDB 论文有感 | 数据强一致性且资源隔离的 HTAP 数据库
由于关于 TiDB 数据库在高可用、水平扩展和 ACID 事务的实现方案很久以前就已经公布出来了，对于这些主题大家都比较熟悉，所以就不再赘述了，下面主要谈谈论文中关于如何实现数据强一致性且资源隔离的 HTAP 在数据库内部同时存在两套存储引擎，分布负责 OLTP 和 OLAP 工作负载，这可以很好避免上面的问题，但是数据需要从两套存储引擎中复制，这样会导致同时满足数据强一致性和资源相互隔离是一个很难解决的问题 论文中，TiDB 选择的是方案 2，针对 OLTP 工作负载提供一个行存引擎 TiKV，针对 OLAP 工作负载负载提供一个列存引擎 TiFlash，那么数据强一致性和资源相互隔离怎么解决呢？ 一般来说，对于一个分布式存储系统，数据强一致性和资源相互隔离经常是一个二选一的选择题，选择数据强一致性，一般是通过同步复制的方式（比如同步双写等）将数据复制到多个相关的实例上，那么将导致所有的计算与存储资源都会紧耦合在一个系统中 这样，TiDB 就将同步的数据复制机制转变成异步的数据复制机制了，并且保证了数据的强一致性。
1.2K41发布于 2020-09-10 - 来自专栏Java
redis与mysql的数据一致性问题（事务一致性）
redis与mysql的数据一致性问题（事务一致性） 案例：考虑一个在线购物应用，其中有一个购物车服务，购物车信息存储在MySQL中，同时为了提高性能，购物车中的商品数量也被缓存到了Redis。 () try: # 开始MySQL事务 mysql_conn.begin() # 从MySQL中获取购物车中的商品数量 cursor.execute 使用MySQL事务确保原子性： 在MySQL中执行购物车更新操作时，将相关操作包裹在事务中，以确保它们的原子性。 如果任何一个操作失败，整个事务将被回滚，防止不一致的数据状态。 mysql_conn.close()
34210编辑于 2025-01-21 - 来自专栏Springboot框架学习
Mysql学习——MySQL数据结构修改（2）
1.添加表字段 语法： ALTER TABLE 表名 ADD 字段名 数据类型; 例如： ALTER TABLE User ADD modifyTime VARCHAR(100); 2.修改字段类型 语法： ALTER TABLE 表名 MODIFY 要修改的字段 修改后的数据类型; 例如： ALTER TABLE User MODIFY modifyTime Int; 3.修改字段名 CHANGE 后面跟着要修改的字段以及修改后的字段 语法： ALTER TABLE 表名 CHANGE 要修改的字段 修改后的字段 修改后的数据类型; 例如： ALTER TABLE User CHANGE modifyTime
1.5K10编辑于 2022-08-17 - 来自专栏深度学习与python
Facebook强一致性键值存储ZippyDB架构简介
在 ZippyDB 之前，Facebook 的各个团队都直接使用 RocksDB 来管理他们的数据。这导致每个团队在解决类似的挑战时造成了工作的重复，比如一致性、容错、故障恢复、副本以及容量管理等。 为了解决这些不同团队的需求，我们创建了 ZippyDB，以提供一个高度持久化和一致性的键值数据存储，通过将所有的数据转移到 ZippyDB 上并解决管理这种数据相关的挑战，大大提升了产品开发的速度。 ——译者注）和强读模式。 ZippyDB 在实现强读取的时候，会将读取操作路由到主节点上，从而避免与 quorum 进行对话。 “在某些极端的情况下，主节点尚未得到更新的消息，这时候对主节点的强读就变成了对 quorum 的检查和读取。”
81720编辑于 2023-04-01 - 来自专栏Java
redis与mysql的数据一致性问题（数据丢失）
redis与mysql的数据一致性问题（数据丢失） 案例：考虑一个在线博客平台，博客文章内容存储在MySQL数据库中，同时使用Redis作为缓存层以提高访问速度。 用户在发布新博客文章时，需要确保文章内容既保存在MySQL中，也缓存到Redis中，以避免数据丢失导致用户访问时获取不到最新的博客内容。 () try: # 开始MySQL事务 mysql_conn.begin() # 向MySQL插入博客文章 cursor.execute mysql_conn.close() 解决方案： 使用Redis持久化机制： 启用Redis的持久化机制，通过定期快照（RDB）或追加文件（AOF）的方式将数据持久化到磁盘，以防止Redis重启时数据丢失 ，以保证数据的一致性。
18400编辑于 2025-01-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号