MySQL2PG 如何使用CI流水线确保MySQL到PG的平滑迁移

-- 特点：
-- 1. 基础 RANGE 分区示例，仅包含一个分区
-- 2. 主键必须包含分区键 issue_id
-- 3. 使用 ENGINE = InnoDB 指定存储引擎
-- 4. 适用于按整数范围进行简单数据划分的场景
-- 5. row_format=dynamic 支持动态行格式

-- 特点：
-- 1. 经典 RANGE 分区模式，包含 5 个分区
-- 2. 分区范围递增：1000, 2000, 3000, 10000, MAXVALUE
-- 3. 使用 MAXVALUE 作为最后一个分区的边界
-- 4. 主键包含分区键，满足 MySQL 分区约束
-- 5. 适用于按连续整数范围均匀分布数据的场景
-- 6. 常用于时间序列数据、ID 范围分片等场景

-- 特点：
-- 1. LIST 分区模式，按离散值列表进行分区
-- 2. 分区键为状态字段，支持业务状态分类
-- 3. 分区值为离散集合：p0(0), p1(1), p2(2,3)
-- 4. 一个分区可包含多个离散值（如 p2 包含 2 和 3）
-- 5. 主键必须包含分区键 status
-- 6. 适用于按枚举值、状态码等离散值进行数据划分
-- 7. 注意：LIST 分区不支持 DEFAULT 分区，插入不在列表中的值会报错

-- 特点：
-- 1. RANGE 分区模式，包含 5 个分区
-- 2. 分区范围呈指数增长：1000, 5000, 10000, 50000, MAXVALUE
-- 3. 非均匀分区策略，适合数据分布不均匀的场景
-- 4. 早期分区范围小，后期分区范围大
-- 5. 包含 TEXT 类型字段，测试大字段在分区表中的兼容性
-- 6. 主键包含分区键 issue_id
-- 7. 适用于数据量随时间增长的业务场景

MySQL 5.7 → PostgreSQL 12  ↓
MySQL 5.7 → PostgreSQL 14  ↓
MySQL 5.7 → PostgreSQL 16  ↓
MySQL 5.7 → PostgreSQL 17  ↓
MySQL 5.7 → PostgreSQL 18  ↓
MySQL 8.0 → PostgreSQL 12  ↓
MySQL 8.0 → PostgreSQL 14  ↓
MySQL 8.0 → PostgreSQL 16  ↓
MySQL 8.0 → PostgreSQL 17  ↓
MySQL 8.0 → PostgreSQL 18

1. 启动MySQL容器（5.7或8.0）
2.启动PostgreSQL容器（12/14/16/17/18）
3.等待两个数据库就绪（healthcheck）
4.执行SQL脚本初始化测试数据：
   ├──create_table.sql          # 167 张表
   ├──insert_data.sql           # 每张表 10 条测试数据
   ├──create_index.sql          # 数百个索引
   ├──create_view.sql           # 42 个视图
   ├──create_function.sql       # 110 个函数
   ├──create_user.sql           # 用户和权限
   └──create_comments_partition_table.sql# 分区表注释
5.生成config.yml配置文件
6.编译并运行mysql2pg工具
7. 上传转换日志（失败时）

✅ 转换表结构：167 张表
✅ 同步表数据：1670 行
✅ 转换索引：数百个
✅ 转换视图：42 个
✅ 转换函数：110 个
✅ 数据验证：MySQL 行数 = PostgreSQL 行数

// 示例：IFNULL 转换测试
tests := []struct{
    name     string
    input    string
    expected string
}{
    {"IFNULL 单参数", "IFNULL(a)", "COALESCE(a)"},
    {"IFNULL 双参数", "IFNULL(a, b)", "COALESCE(a, b)"},
    {"IFNULL 嵌套", "IFNULL(IFNULL(a, b), c)", "COALESCE(COALESCE(a, b), c)"},
    {"IFNULL 在视图中", "SELECT IFNULL(col, 0) FROM t", "SELECT COALESCE(col, 0) FROM t"},
}

// ROUND/MOD 转换测试
tests := []struct{
    name     string
    input    string
    expected string
}{
    {"ROUND 单参数", "ROUND(col, 2)", "ROUND(col::NUMERIC, 2)"},
    {"MOD 单参数", "MOD(col, 10)", "MOD(col::NUMERIC, 10)"},
    {"ROUND 嵌套", "ROUND(ROUND(col, 3), 2)", "ROUND(ROUND(col::NUMERIC, 3)::NUMERIC, 2)"},
}

// DATE_FORMAT 转换测试
tests := []struct{
    name     string
    input    string
    expected string
}{
    {"DATE_FORMAT 简单", "DATE_FORMAT(dt, '%Y-%m-%d')", "to_char(dt, 'YYYY-MM-DD')"},
    {"DATE_FORMAT 复杂", "DATE_FORMAT(dt, '%Y-%m-%d %H:%i:%s')", "to_char(dt, 'YYYY-MM-DD HH24:MI:SS')"},
}

// JSON 函数转换测试
tests := []struct{
    name     string
    input    string
    expected string
}{
    {"JSON_EXTRACT", "JSON_EXTRACT(doc, '$.name')", "doc->>'name'"},
    {"JSON_OBJECT", "JSON_OBJECT('key', val)", "json_build_object('key', val)"},
    {"JSON_ARRAY", "JSON_ARRAY(a, b)", "json_build_array(a, b)"},
}

# 运行所有单元测试
go test -v -race -coverprofile=coverage.out ./...

# 按包运行测试
go test ./internal/config/...
go test ./internal/converter/postgres/...
go test ./internal/postgres/...
go test ./internal/report/...

# 查看覆盖率
go tool cover -html=coverage.out -o coverage.html

#!/bin/bash
# 脚本：scripts/integrationtests/run_integration_tests.sh

# 1. 修改 config.yml 配置
cat > config.yml << EOF
mysql:
  host: 127.0.0.1
  port: 3306
  username: root
  password: rootpassword
  database: test_db
postgresql:
  host: localhost
  port: 5432
  username: postgres
  password: postgrespassword
  database: test_db
conversion:
  options:
    tableddl: true
    data: true
    view: true
    indexes: true
    functions: true
    users: true
    table_privileges: true
    validate_data: true
EOF

# 2. 运行 MySQL2PG 工具
./mysql2pg -c config.yml

# 3. 检查退出码
if [ $? -eq 0 ]; then
    echo"✅ PASS"
else
    echo"❌ FAIL"
fi

# 4. 验证 PostgreSQL 数据
psql -h localhost -U postgres -d test_db -c "SELECT COUNT(*) FROM case_01_integers;"

# .github/workflows/go.yml

unit-test:
name:UnitTests
runs-on:ubuntu-latest
steps:
    -uses:actions/checkout@v4
    -uses:actions/setup-go@v5
      with:
        go-version:'1.24'
    -run:gobuild-v./...
    -run:gotest-v-race-coverprofile=coverage.out./internal/config/...
    -run:gotest-v-race-coverprofile=coverage.out./internal/converter/postgres/...
    -run:gotest-v-race-coverprofile=coverage.out./internal/postgres/...
    -run:gotest-v-race-coverprofile=coverage.out./internal/report/...

integration-test-mysql57-pg12:
name:MySQL5.7→PostgreSQL12
needs:unit-test
services:
    mysql:
      image:mysql:5.7
    postgres:
      image:postgres:12
steps:
    -初始化测试数据（167张表+42视图+110函数）
    -运行MySQL2PG工具
    -验证迁移结果

integration-test-mysql57-pg14:
name:MySQL5.7→PostgreSQL14
needs:integration-test-mysql57-pg12
# 同样的测试流程

#  共 10 种版本组合

┌─────────────────────────────────────────┐
│  第三层：CI 流水线（10 种版本组合）        │
│  • 每次提交自动执行                       │
│  • 端到端集成测试                         │
│  • 数据验证                              │
├─────────────────────────────────────────┤
│  第二层：集成测试（84 个测试用例）          │
│  • 真实数据库环境                         │
│  • 完整迁移流程                           │
│  • 功能验证                              │
├─────────────────────────────────────────┤
│  第一层：单元测试（98%+ 覆盖率）           │
│  • 核心转换逻辑                           │
│  • 函数映射验证                           │
│  • 边界情况处理                           │
└─────────────────────────────────────────┘