tidb 备份恢复与迁移
tidb 备份恢复与迁移
|
|
使用 mydumper 从 mysql/tidb 备份数据
https://pingcap.com/docs-cn/v2.1/how-to/maintain/backup-and-restore/
使用 mydumper 备份
mydumper: https://github.com/maxbube/mydumper/releases
|
|
我们使用 -B test
表明是对 test 这个 database 操作,然后用 -T t1,t2
表明只导出 t1,t2 两张表。
-t 32
表明使用 32 个线程去导出数据。-F 64 是将实际的 table 切分成多大的 chunk,这里就是 64MB 一个 chunk。
--skip-tz-utc
添加这个参数忽略掉 TiDB 与导数据的机器之间时区设置不一致的情况,禁止自动转换。
字符集转换
目前 TiDB 支持 UTF8mb4 字符编码,假设 Mydumper 导出数据为 latin1 字符编码,请使用
|
|
使用 loader 恢复数据到 tidb
修改 tidb gc 时间
|
|
导入文件
|
|
还原 tidb gc 时间
|
|
注意: 使用
loader
的时候,如果出现异常或者冲突。不能直接修改sql
文件,否则可能出现各种异常。建议在专业的 DBA 指导下执行。
使用 syncer 增量迁移
使用 syncer
进行数据库的增量迁移, 依赖 mydumper
的 metadata 数据
https://pingcap.com/docs-cn/v2.1/how-to/migrate/incrementally-from-mysql/
更多高级备份
使用 tidb lightning 从底层实现数据导入
TiDB Lightning 是一个将全量数据高速导入到 TiDB 集群的工具,有以下两个主要的使用场景:一是大量新数据的快速导入;二是全量数据的备份恢复。目前,支持 Mydumper 或 CSV 输出格式的数据源。你可以在以下两种场景下使用 Lightning:
- 迅速导入大量新数据。
- 备份恢复所有数据。
https://pingcap.com/docs-cn/v2.1/reference/tools/tidb-lightning/overview/
数据迁移 Data Migration
DM (Data Migration) 是一体化的数据同步任务管理平台,支持从 MySQL 或 MariaDB 到 TiDB 的全量数据迁移和增量数据同步。使用 DM 工具有利于简化错误处理流程,降低运维成本。
https://pingcap.com/docs-cn/v2.1/reference/tools/data-migration/overview/#dm- 架构
sync-diff-inspector 数据一致性比较
https://pingcap.com/docs-cn/v2.1/reference/tools/sync-diff-inspector/overview/
- 原文链接:https://typonotes.com/posts/2020/10/10/tidb-migrate/
- 本文为原创文章,转载注明出处。
- 欢迎 扫码关注公众号
Go与云原生
或 订阅网站 https://typonotes.com/ 。 - 第一时间看后续精彩文章。觉得好的话,请猛击文章右下角「在看」,感谢支持。