数据中台现有 MinIO 服务由 2 台服务器组成，受限于双节点架构的纠删码容错机制，若任一节点出现故障，集群会自动锁定写入能力，仅开放文件读取查询功能，业务存储写入链路中断。现计划将数据中台存量全部对象文件迁移至海博已完成部署的 5 节点 MinIO 分布式集群，彻底解决单节点故障导致存储只读的问题。

当前的数据中台minio由2台机器，需要升级为4台机器，改为集群模式后，就可以规避机器单点故障后，无法使用文件上传功能。

实现水平扩容，申请新增2台机器及对应的磁盘进行扩容

当前无详细的水平扩容方案参考，官网未提供相关指导方案，存在极大的不确定性（应该不支持直接在原来服务实例上进行水平扩容）

  不推荐采用水平扩展minio机器的方案

原因如下：
（1）扩容的过程中易出现无法控制的风险，如：水平扩展失败，集群无法正常启动，恢复回原来的集群也无法正常启动，导致整个功能不可用；
（2）水平扩展无法保证数据的完整性，扩容过程可能会导致数据丢失；
（3）水平扩容无法保证完成时间，这段时间minio的功能受影响，无法正常使用，会出现异常情况；
（4）无完整的扩容实现方案，有不可预知的风险；

搭建 5 节点全新 MinIO 分布式集群，选取单一组业务存储作为试点，将对应存储桶全量数据迁移至新集群，数据迁移完成后，将文件上传服务切换至新集群提供存储支撑。（参考MinIO搭建：

https://cloud.tencent.com/developer/article/2704228

分布式minio集群搭建要求（官网文档）：

   生产 MinIO 部署由至少 4 个具有同构存储和计算资源的 MinIO 主机组成。

验证分析分布式集群的可用性：

   多节点组成的分布式Minio集群可保证服务的高可用，一个N节点的分布式Minio,只要有N/2节点在线，数据就是安全的 -- 

。不过需要至少有N/2+1个节点才能创建新的对象 -- 

推荐申请：
 5台机器部署新集群，同时停用2台minio节点机器，仍可以上传文件；若使用4台机器部署，停用2台minio节点机器，文件上传功能不可使用

本次用于迁移生产 MinIO 数据的 5 节点分布式集群，存储容量规划可支撑业务后续数据水平扩容需求；当前生产存量数据总容量为 104.2G，提供两套磁盘挂载方案：

（1）低配方案：单节点挂载 2 块 100G 磁盘，单节点存储容量 200G，5 节点合计总容量 1000G，可覆盖现有存量数据。磁盘空间占满后，支持导出数据清理或扩容磁盘，配套自动化清理任务实现运维减负；
（2）高预留方案：单节点挂载 2 块 150G 磁盘，单节点存储容量 300G，5 节点合计总容量 1500G，完全满足当前存储需求，若无大规模数据增量变更，可覆盖未来五年存储使用需求，规避频繁扩容操作。

Minio使用纠删码erasure code和校验和checksum来保护数据免受硬件故障和无声数据损坏。 即便您丢失一半数量（N/2）的硬盘，您仍然可以恢复数据

# 10.120.20.50 中转服务器，10.120.20.201（旧集群），10.120.20.210（新集群）
mc客户端（ 10.120.20.50）访问数据中台minio服务器（10.120.20.201、10.120.20.210）网络权限： 9000 、 9001端口

（2）添加数据中台minio的服务器

mc alias set oldMinio http://10.120.20201:9000 用户名 密码
mc alias set newMinio http://10.120.20.210:9000 用户名 密码

# 添加完成后，查看所有alias
mc alias ls

（3）备份旧集群的minio文件桶数据

 mc mirror --overwrite oldMinio/oldbuck.test.com "backup/oldbuck/test/20241011"

注意：待确认50机器的空间是否可以备份，防止备份导致磁盘空间不足

（4）在minio集群创建待迁移的桶文件、设置访问权限

旧集群对应文件桶的访问权限：

# Policies 

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:*"
            ],
            "Resource": [
                "arn:aws:s3:::oldbuck.test.com/*"
            ]
        }
    ]
}

# Users
minio.accessKey=minioTest
minio.secretKey=test@12345678

方式一： 指定桶迁移并覆盖目标桶的文件

mc mirror --overwrite oldMinio/oldbuck.test.com  newMinio/oldbuck.test.com

     方式二：后台进程持续迁移并覆盖目标桶文件

./mc mirror --exclude ".*" --exclude "*.temp" --watch --overwrite  oldMinio/oldbuck.test.com  newMinio/oldbuck.test.com

实际：采用方式二的方式进行数据迁移，减少需要手动迁移的文件

生产环境MinIO切换失败回退方案设计

验证切换新集群后，文件服务出现问题：比如无法上传文件、下载文件失败、预览文件失败和删除文件失败

上传文件限制大小不符合原来的标准（10M?），导致上传满足要求的大文件上传失败
    生产原来设置的限制10M

（1）切换上线的服务配置改回原调用旧集群链接

minio.endpoint=http://minio.oldbuck.com.cn  # 切换会旧机器的访问域名,新集群域名：http://minio.newbuck.com.cn
minio.port=

（2）打包回退服务，部署回退服务

（3）MinIO旧集群同步MinIO新集群的增量文件

#黑窗口方式运行
./mc mirror --retry newMinio/  oldMinio/

# 后台进程方式运行
nohup ./mc mirror --retry newMinio/  oldMinio/ > /tmp/minio_mirror_background.log 2>&1 &


（4）验证回退后的文件一致性和相关应用服务功能是否正常

 上传文件、下载文件、预览文件和删除文件
 上传文件限制大小要符合原来的标准

MinIO生产环境数据迁移方案设计

数据库

运维

架构设计

数据中台MinIO服务升级方案：从双节点迁移至5节点分布式集群，解决单点故障导致的存储只读问题。采用分批迁移策略，确保业务连续性，支持水平扩容。新集群采用纠删码技术，保障数据安全，5节点配置可满足未来存储需求。提供详细迁移步骤与回退方案，确保系统稳定运行。

数据迁移

数据丢失

服务器

2026上云采购 | AI焕新·智启新局

热销域名限时优惠，新客首年免费！


domain

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

MinIO生产环境数据迁移方案设计

MinIO生产环境数据迁移方案设计

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐