如何使用rclone进行备份？请看详细教程

如何使用rclone进行备份？请看详细教程

Rclone 是一个用于和同步云平台同步文件和目录命令行工具。采用Go语言开发。

使用方法

1.安装rclone

curl | sudo bash

2.填写需要备份的源数据端和目标数据的信息

vim /root/.config/rclone/rclone.conf[rgw-13]type = s3provider = Cephaccess_key_id = xxxxxxxxsecret_access_key = xxxxxxxxxxxendpoint = = public-read-write[rgw-12]type = s3provider = Cephaccess_key_id = xxxxxxsecret_access_key = xxxxxxxxxxxxxxxxxxxxxxxxendpoint = = public-read-write

3.执行rsync命令，第一个参数是源数据端，第2个参数是迁移目标端“:”后面是各自对应的桶

rclone sync rgw-13:new-bucket-08a8c067 rgw-12:new-bucket-1ca2d661 --checksum

常用命令

—s3-provider Other-max-backlog#N#在 sync/copy/move时使用，占用N倍KB内存—buffer-size=SIZE#加速 sync/copy/move—bwlimit UP:DOWN#上传下载限速，b|k|M|G—size-only使用sync功能配合此参数，表示只有文件大小有变化才会同步文件，可能存在文件大小未变但是文件已经发生变化，不推荐使用；—checksum通过md5判断文件是否有变化，md5发生变化时才会同步文件；如果source是本地磁盘，这会带来较多的磁盘和CPU消耗；如果source和destination都是对象存储，则推荐使用这个参数；—update—use-server-modtime通过mtime判断文件是否变化，只有当本地文件的mtime较新时，文件才会上传—fast-list rclone默认的遍历方式是单独处理每个目录，每个目录调用1次API。使用这个参数将会将所有文件信息加入内存（1000个文件进行1次API调用），1个文件消耗1k内存。—no-traverse当destination中文件较多时，使用此参数将会直接查找这个文件，而不是通过文件列表—max-age限制文件最大age，用来上传最近的文件—s3-no-head默认上传后会通过head检测文件是否已经上传，通过此参数可关闭。—s3-upload-cutoff文件大于这个值会使用分片上传，默认值是200M，最大值是5G 不计算md5—s3-upload-concurrency默认值4，有多少chunck同时上传，如果传少量大文件，提高这个参数可以提升带宽。—s3-chunk-size默认值 5M—s3-max-upload-parts默认值10000—s3-force-path-style默认值true—s3-v2-auth默认值false—s3-list-chunk默认值1000，每次list返回的key数量

其他对象储存

修改 provider 信息，根据云商类型填入

Choose a number from below, or type in your own value.1 / Amazon Web Services (AWS) S3\ “AWS”2 / Alibaba Cloud Object Storage System (OSS) formerly Aliyun\ “Alibaba”3 / Ceph Object Storage\ “Ceph”4 / Digital Ocean Spaces\ “DigitalOcean”5 / Dreamhost DreamObjects\ “Dreamhost”6 / IBM COS S3\ “IBMCOS”7 / Minio Object Storage\ “Minio”8 / Netease Object Storage (NOS)\ “Netease”9 / Scaleway Object Storage\ “Scaleway”10 / SeaweedFS S3\ “SeaweedFS”11 / StackPath Object Storage\ “StackPath”12 / Tencent Cloud Object Storage (COS)\ “TencentCOS”13 / Wasabi Object Storage\ “Wasabi”14 / Any other S3 compatible provider\ “Other”

结语

相比起使用s3fs + sync迁移对象储存的方法，rclone更高效。

以上就是关于今天的全部内容，下期将给大家带来《simd指令集使用入门》，敬请期待~

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。