首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏芝麻实验室

    MySQL全量备份

    接下来,我们一起来学习全量备份的实现方式。 Server [root@node2 ~]# yum -y install mariadb-server [root@node2 ~]# systemctl enable mariadb #注意,做全量恢复时

    2.6K30发布于 2019-03-05
  • 来自专栏yuyy.info技术专栏

    kettle实现全量备份

    要求 安装KETTLE+DEBEAVER+MYSQL,在mysql数据库上建house数据库,并将house数据库的表数据通过kettle,全量备份到另外一个表中。 步骤 建立house数据库,利用kettle读取fed_funds.csv并存进house数据库,再进行全备份。 查看源数据 image.png 建立数据库及表 image.png 运行转换 image.png 生成数据库文件 image.png 创建目标表 image.png 执行全备份转换 image.png

    1.1K10编辑于 2022-06-28
  • 来自专栏网站教程

    mysql全量数据迁移

    mydumper/loader 全量导入数据最佳实践 为了快速的迁移数据 (特别是数据量巨大的库),可以参考以下建议: mydumper 导出数据至少要拥有 SELECT,RELOAD,LOCK TABLES 导入示例及相关配置: mydumper 导出后总数据量 214G,单表 8 列,20 亿行数据 集群拓扑 TiKV * 12 TiDB * 4 PD * 3 mydumper -F 设置为 16,Loader

    1.7K00发布于 2021-07-17
  • 来自专栏小陈运维

    YUM下载全量依赖

    在离线的内网环境下进行安装一些软件的时候会出现依赖不完整的情况,一般情况下会使用如下方式进行下载依赖包

    1.7K40发布于 2021-10-13
  • 来自专栏仙士可博客

    mysql实现定时全量备份

    参考地址:  https://github.com/wentmac/mysql_backup

    2K20发布于 2020-09-28
  • 什么是全量参数微调

    在llama2-chinese里面有个全量参数微调概念,那么这个是什么意思? 微调,Fine-Tuning,一般指全参数的微调(全量微调),指是一类较早诞生的微调方法,全参数微调需要消耗大量的算力,实际使用起来并不方便,因此不久之后又诞生了只围绕部分参数进行微调的高效微调方法; ; 除此之外,Fine-Tuning可以代指全部微调方法,同时OpenAl中模型微调AP1的名称也是Fine-Tuning, 需要注意的是,OpenAl提供的在线微调方法也是一种高效微调方法,并不是全量微调

    34100编辑于 2025-07-20
  • 来自专栏橘子の笔记

    Packagist Composer 中国全量镜像

    1 . 用 composer config -l -g 查看所有全局配置 composer config -l -g 2 . 使用如下命令将地址改为中国镜像地址 composer config -g repo.packagist composer https://packagist.phpcomposer.com 镜像名 地址 赞助商 更新频率 备注 阿里云 Composer 镜像 https://mirrors.aliyun.com/composer/ 阿里云 96 秒 推荐 腾讯云 Composer 镜

    2.7K00发布于 2020-03-30
  • 来自专栏腾讯专有云

    千万保单,全量上云

    流程耗时 新系统搭建了自动化投放测试、准生产环境,并通过DevOps建立了从开发到运行、到运维监控的软件全生命周期管理和治理能力,实现从核心投产演练的全流程自动化。 作为新系统核心业务流量的支撑,民生保险私有企业云基于腾讯云全栈专有云解决方案TCE打造。 它包括70%节点基于通用X86架构的私有云和30%节点基于全国产芯片为基础的私有云。 目前,腾讯云TCE已经助力中国银行、建设银行、中国人保、中国银联、深证通、中银证券、中信建投证券、方正证券、广州农商行等一大批大型金融机构构建了安全合规的全栈私有云,是行业落地案例最多、规模最大的专有云解决方案

    1.3K20编辑于 2022-06-24
  • 来自专栏linda

    【Mysql】xtrabackup全量增量备份脚本

    全量备份脚本 #! =/usr/local/mariadb/bin/mysqladmin BACKUPDIR=/backup/mysql # 备份的主目录 FULLBACKUPDIR=$BACKUPDIR/full # 全库备份的目录 INCRBACKUPDIR=$BACKUPDIR/incr # 增量备份的目录 KEEP=1 # 保留几个全库备份 # Grab start time ###################### =/usr/local/mariadb/bin/mysqladmin BACKUPDIR=/backup/mysql # 备份的主目录 FULLBACKUPDIR=$BACKUPDIR/full # 全库备份的目录

    2.7K31发布于 2019-06-02
  • 来自专栏洁癖是一只狗

    redis全量复制和部分复制

    上一节我们看到了docker搭建集群,今天我们说一些集群数据同步原理 我们在第一次同步数据的时候,redis集群都是进行全量复制,由于全量复制的开销比较大,在2.8版本之后就提出了一种部分复制,我们先看一下全量复制的流程原理 因此我们在2.8版本引入可部分复制,当网络抖动的时候,数据不同步的时候,此时我们就可以使用部分复制,2.8版本之前都是全量复制。 ? 规避全量复制 全量复制的开销非常大,产生全量复制的条件 1.第一次全量复制是不可避免的,我们可以到夜间操作或者设置maxmemory(指定Redis最大内存限制,Redis在启动时会把数据加载到内存中 )buffer的大小,可以有效的避免全量复制。 规避复制风暴 1.单主节点复制风暴 主节点重启,有多个从节点要进行全量复制,生成RDB,传输RDB,虽然redis有自己的优化策略,但是这样开销还是非常大的,我们可以更换复制拓扑 ?

    1.9K10发布于 2020-06-15
  • 来自专栏Postgresql源码分析

    Mysql手动全量增量迁移实战

    如果可以接受一定时间的停写,可以使用mysqldump+binlog的方式迁移数据 规划 8002库迁移全量加增量到8001库,增量迁移时8002库只读保证数据一致。 ------+ | count(*) | +----------+ | 100000 | +----------+ 1 row in set (0.01 sec) (2)8002库模拟业务流量,并全量迁出 tps: 173.00 qps: 3460.04 (r/w/o: 2422.03/692.01/346.00) lat (ms,95%): 5.99 err/s: 0.00 reconn/s: 0.00 全量迁移出 切换了binlog (3)全量迁移结束,8002库继续写入一段时间,8001库全量迁入 mysql -uroot -proot -P8001 -h127.0.0.1 server_234_db < db.sql (4)8002库只读,开始迁移binlog flush tables with read lock; set global read_only=1; 业务停写,确认binlog无增长 主库全量迁移位点

    2.1K40编辑于 2022-05-12
  • 来自专栏sktj

    shell 增量备份全量备份脚本

    ? ?

    2.4K30发布于 2019-10-23
  • 【详解】基于mysqldump全量备份还原

    基于mysqldump全量备份还原在数据库管理中,数据备份和恢复是非常重要的环节。​​mysqldump​​ 是 MySQL 提供的一个非常强大的命令行工具,用于备份数据库。 本文将详细介绍如何使用 ​​mysqldump​​ 进行全量备份,并在需要时进行数据还原。 以上是关于使用 ​​mysqldump​​​ 进行全量备份和还原的技术博客文章。希望对您的数据库管理和维护工作有所帮助。当然可以! 场景描述假设你有一个生产环境中的 MySQL 数据库,需要定期进行全量备份,并在需要时能够快速恢复数据。 全量备份步骤1:生成备份文件使用 ​​mysqldump​​ 命令生成全量备份文件。备份文件将保存在本地的 ​​/backup​​ 目录下。

    1.7K10编辑于 2025-10-02
  • 来自专栏沈唁志

    国内的Composer全量镜像汇总

    自从 Packagist 中国全量镜像服务停止以后,大部分的 phper 都会使用 laravel-chind 的提供的镜像,但是最近因为大量的恶意请求而出现资源告急的情况,已经做了一些限额处理 分享一些国内可用的 Composer 全量镜像,速度自测~ Alibaba Cloud Composer Mirror 由阿里提供的镜像,阿里家大业大,大水管 镜像地址:https://mirrors.aliyun.com /composer/ Laravel China Composer 全量镜像 由 Laravel China 社区联合又拍云与优帆远扬共同合作推出的公益项目,将于 2019 年 9 月 4 号停用。 Packagist Mirror 由上海交通大学提供的镜像 镜像地址:https://packagist.mirrors.sjtug.sjtu.edu.cn Packagist / Composer 中国全量镜像 任何个人或团体,未经允许禁止转载本文:《国内的Composer全量镜像汇总》,谢谢合作!

    6.3K40发布于 2019-12-09
  • 来自专栏奔跑的人生

    全量索引代码实现

    上一节我们实现了索引基本操作的类以及索引缓存工具类,本小节我们开始实现加载全量索引数据,在加载全量索引数据之前,我们需要先将数据库中的表数据导出到一份文件中。 ,全量索引其实就是一种特殊的增量索引,为了代码的可复用,我们创建统一的类来操作索引。 加载全量索引其实是增量索引 "添加"的一种特殊实现 * * @author Isaac.Zhang | 若初 value); break; default: break; } } } 3.读取文件实现全量索引加载 @Component @DependsOn("indexDataTableUtils") public class IndexFileLoader { /** * 服务启动时,执行全量索引加载

    67430发布于 2019-08-22
  • 来自专栏QQ音乐技术团队的专栏

    Android全量编译加速——(透明依赖)

    虽然已经有许多增量编译加速方案,但不可避免的在很多场景,还是需要全量编译。 而对于全量编译加速,我们遇到了一些困难: K歌的项目里,总代码量160w行,kotlin代码占比43%左右,编译耗时占比却高达70%,必须要压缩这个比例。 于是需要找到一种方法,既能继续享受kotlin带来的开发便利,也能缓解全量编译时间快速增长的问题。 1.2.

    3K30发布于 2021-06-03
  • 来自专栏开源部署

    Oracle增量和全量备份方案

    Oracle生产备份方案 crontab 配置 周末全量备份,其他日期增量备份,清除15天以前文件 0 5 * * * find /app/oracle11g/product/11.2.0/archdir

    1.1K20编辑于 2022-08-18
  • 来自专栏数据库相关

    全量SQL的采集和利用

    最近看到Dmall冯光普老师的关于TopSQL的分享,于是参考他的方案在生产做了个低配版的实现(冯老师的方案中需要较强的前端编码能力,我这里改用grafana代替)。

    64710编辑于 2024-04-26
  • 来自专栏绿盟科技研究通讯

    告警全量分诊思路分析

    运营规则对告警的覆盖情况 为了解决高置信度列表带来的上述问题,本文认为:一方面,告警应该进行全量分析,以免遗漏重大风险,另一方面,误报应该通过自动化的方式进行去除,最后低层次的告警应该通过一定的方式进行融合 告警全量分诊要点分析 2.1 告警组成分析 类似医院的分诊,只有了解人体的组成部分,才能分门别类的设置各种诊室一样,为了实现告警全量分诊,就必须知道告警的组成部分。 网络流量分析中,我们经常会使用各种数据分析的方法,如:分类、聚类、异常检测等,那么流量分析中的各种算法如何有机的作用到全量分诊当中呢?笔者在这里分析出如下要点。 图2. 这种形式对运营人员更友好,并且进一步降低了底层告警的数据量,提升运营效率。 总结 本文指出目前安全运营中心普遍基于“高置信规则”的运营方法并不完善,并提出全量分诊的设想,勾勒了全量分诊中可能涉及到的功能要点,目前这些要点正在也在内部研究验证。欢迎读者朋友交流心得、批评指正。

    98520编辑于 2022-11-14
  • 来自专栏SmartSi

    Kafka Connect JDBC Source MySQL 全量同步

    "connect-mysql-bulk-", "mode":"bulk" } }' mode 参数指定了工作模式,在这我们使用 bulk 批量模式来同步全量数据

    5.4K21发布于 2021-09-26
领券