Linux环境大规模数据迁移

1、分析目录结构，尽量单个迁移任务迁移2-3T。

2、工具采用rsync -aPv --delete方式。

3、举例

rsync -aPv /backup/data/2023-11-07 /newnas/data/ > /var/log/rsync/2023-11-07 &

4、根据目录拉起多个任务：ls | xargs  rsync -aPv /backup/data/{}  /newnas/data/ > /var/log/rsync/{} &

5、路径割接前，建议每小时同步更新一次。缩小最终割接增量更新时间。

6、由于rsync会对文件进行比对。默认是单进程，建议启动多进程。

7、rsync运行过程中查看余下进程数watch -n 5 'ps -aux | grep rsync | grep -v grep | wc -l' //每五秒查看一次进程数。