什么是 Rsync

Rsync（remote synchronize）是一个远程数据同步工具，可通过 LAN/WAN 快速同步多台主机间的文件。Rsync 使用所谓的 “Rsync 算法” 来使本地和远 程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。

Rsync 本来是用于替代 rcp 的一个工具，目前由 rsync.samba.org 维护，所以 rsync.conf 文件的格式类似于 Samba 的 主配置文件。Rsync 可以通过 rsh 或 ssh 使用，也能以 daemon 模式去运行，在以 daemon 方式运行时 Rsync server 会打开一个 873 端口，等待客户端去连接。连接时，Rsync server 会检查口令是否相符，若通过口令查核，则可以开始进行文件传输。第一次连通完成时，会把整份文件传输一次，以后则就只需进行增量备份。

Rsync 支持大多数的类 Unix 系统，无论是 linux、Solaris 还是 BSD 上都经过了良好的测试。此外，它在 windows 平台下也有相应的版本，如 cwRsync 和 Sync2NAS 等工具。

Rsync 的基本特点如下：

1. 可以镜像保存整个目录树和文件系统；
2. 可以很容易做到保持原来文件的权限、时间、软硬链接等；
3. 无须特殊权限即可安装；
4. 优化的流程，文件传输效率高；
5. 可以使用 rsh、ssh 等方式来传输文件，当然也可以通过直接的 socket 连接；
6. 支持匿名传输。

Rsync 同步算法

Rsync 只所以同步文件的速度相当快，是因为 “Rsync 同步算法” 能在很短的时间内计算出需要备份的数据，关于 Rsync 的同步算法描述如下：

假定在 1 号和 2 号两台计算机之间同步相似的文件 A 与 B，其中 1 号对文件 A 拥有访问权，2 号对文件 B 拥有访问权。并且假定主机 1 号与 2 号之间的网络带宽很小。那么 rsync 算法将通过下面的五个步骤来完成：

1. 2 号将文件 B 分割成一组不重叠的固定大小为 S 字节的数据块，最后一块可能会比 S 小。
2. 2 号对每一个分割好的数据块执行两种校验：一种是 32 位的滚动弱校验，另一种是 128 位的 MD4 强校验
3. 2 号将这些校验结果发给 1 号。
4. 1 号通过搜索文件 A 的所有大小为 S 的数据块 (偏移量可以任选，不一定非要是 S 的倍数)，来寻找与文件 B 的某一块有着相同的弱校验码和强校验码的数据块。这项工作可以借助滚动校验的特性很快完成。
5. 1 号发给 2 号一串指令来生成文件 A 在 2 号上的备份。这里的每一条指令要么是对文件 B 经拥有某一个数据块而不须重传的证明，要么是一个数据块，这个数据块肯定是没有与文件 B 的任何一个数据块匹配上的。

Rsync 参数说明

配置文件：rsyncd.conf

全局参数

在文件中，[module]之前的所有参数都是全局参数，当然也可以在全局参数部分定义模块参数，这时候该参数的值就是所有模块的默认值。

port指定后台程序使用的端口号，默认为 873。

motd file用来指定一个消息文件，当客户连接服务器时该文件的内容显示给客户，默认是没有 motd 文件的。

log file指定 rsync 的日志文件，而不将日志发送给 syslog。比如可指定为 “/var/log/rsyncd.log”。

pid file指定 rsync 的 pid 文件，通常指定为 “/var/run/rsyncd.pid”。

syslog facility指定 rsync 发送日志消息给 syslog 时的消息级别，常见的消息级别是：uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6 和 local7。默认值是 daemon。

模块参数

主要是定义服务器哪个目录要被同步。其格式必须为 “[module]” 形式，这个名字就是在 rsync 客户端看到的名字，其实有点象 Samba 服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的。我们可以根据自己的需要，来指定多个模块，模块中可以定义以下参数：

comment给模块指定一个描述，该描述连同模块名在客户连接得到模块列表时显示给客户。默认没有描述定义。

path指定该模块的供备份的目录树路径，该参数是必须指定的。

use chroot如果指定为 true，那么 rsync 在传输文件以前首先 chroot 到 path 参数所指定的目录下。这样做的原因是实现额外的安全防护，但是缺点是需要以 root 权限，并且不能备份指向外部的符号连接所指向的目录文件。默认值为 true。

uid指定当该模块传输文件时守护进程应该具有的 uid，配合 gid 选项使用可以确定哪些可以访问怎么样的文件权限，默认值是”nobody”。

gid指定当该模块传输文件时守护进程应该具有的 gid。默认值为”nobody”。

max connections指定该模块的最大并发连接数量以保护服务器，超过限制的连接请求将被告知随后再试。默认值是 0，也就是没有限制。

list该选项设定当客户请求可以使用的模块列表时，该模块是否应该被列出。如果设置该选项为 false，可以创建隐藏的模块。默认值是 true。

read only设定是否允许客户上载文件。如果为 true 那么任何上载请求都会失败，如果为 false 并且服务器目录读写权限允许那么上载是允许的。默认值为 true。

exclude用来指定多个由空格隔开的多个文件或目录 (相对路径)，并将其添加到 exclude 列表中。这等同于在客户端命令中使用--exclude来指定 模式，一个模块只能指定一个 exclude 选项。但是需要注意的一点是该选项有一定的安全性问题，客户很有可能绕过 exclude 列表，如果希望确保特定 的文件不能被访问，那就最好结合 uid/gid 选项一起使用。

exclude from指定一个包含 exclude 模式的定义的文件名，服务器从该文件中读取 exclude 列表定义。

include用来指定不排除符合要求的文件或目录。这等同于在客户端命令中使用–include 来指定模式，结合 include 和 exclude 可以定义复杂的 exclude/include 规则。

include from指定一个包含 include 模式的定义的文件名，服务器从该文件中读取 include 列表定义。

auth users指定由空格或逗号分隔的用户名列表，只有这些用户才允许连接该模块。这里的用户和系统用户没有任何关系。如果”auth users” 被设置，那么客户端发出对该模块的连接请求以后会被 rsync 请求 challenged 进行验证身份这里使用的 challenge/response 认证协议。用户的名和密码以明文方式存放在”secrets file” 选项指定的文件中。默认情况下无需密码就可以连接模块 (也就是匿名方式)。

secrets file指定一个包含定义用户名: 密码对的文件。只有在”auth users” 被定义时，该文件才有作用。文件每行包含一个 username:passwd 对。一般来说密码最好不要超过 8 个字符。没有默认的 secures file，需要限式指定一个 (例如：/etc/rsyncd.passwd)。注意：该文件的权限一定要是 600，否则客户端将不能连接服务器。

strict modes指定是否监测密码文件的权限，如果该选项值为 true 那么密码文件只能被 rsync 服务器运行身份的用户访问，其他任何用户不可以访问该文件。默认值为 true。

hosts allow指定哪些 IP 的客户允许连接该模块。客户模式定义可以是以下形式：

• 单个 IP 地址，例如：192.167.0.1
• 整个网段，例如：192.168.0.0/24，也可以是 192.168.0.0/255.255.255.0
• 多个 IP 或网段需要用空格隔开，“*” 则表示所有，默认是允许所有主机连接。

hosts deny指定不允许连接 rsync 服务器的机器，可以使用 hosts allow 的定义方式来进行定义。默认是没有 hosts deny 定义。

ignore errors指定 rsyncd 在判断是否运行传输时的删除操作时忽略 server 上的 IO 错误，一般来说 rsync 在出现 IO 错误时将将跳过--delete操作，以防止因为暂时的资源不足或其它 IO 错误导致的严重问题。

ignore nonreadable指定 rysnc 服务器完全忽略那些用户没有访问权限的文件。这对于在需要备份的目录中有些文件是不应该被备份者得到的情况是有意义的。

lock file指定支持 max connections 参数的锁文件，默认值是 / var/run/rsyncd.lock。

transfer logging使 rsync 服务器使用 ftp 格式的文件来记录下载和上载操作在自己单独的日志中。

log format通过该选项用户在使用 transfer logging 可以自己定制日志文件的字段。其格式是一个包含格式定义符的字符串，可以使用的格式定义符如下：

 

 

timeout通过该选项可以覆盖客户指定的 IP 超时时间。通过该选项可以确保 rsync 服务器不会永远等待一个崩溃的客户端。超时单位为秒钟，0 表示没有超时定义，这也是默认值。对于匿名 rsync 服务器来说，一个理想的数字是 600。

refuse options通过该选项可以定义一些不允许客户对该模块使用的命令参数列表。这里必须使用命令全名，而不能是简称。但发生拒绝某个命令的情况时服务器将报告错误信息然后退出。如果要防止使用压缩，应该是：dont compress = *。

dont compress用来指定那些不进行压缩处理再传输的文件，默认值是 *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz

Rsync 命令

在对 rsync 服务器配置结束以后，下一步就需要在客户端发出 rsync 命令来实现将服务器端的文件备份到客户端来。rsync 是一个功能非常强大的工具，其命令也有很多功能特色选项，下面就对它的选项一一进行分析说明。

Rsync 的命令格式可以为以下六种：

 

 

对应于以上六种命令格式，rsync 有六种不同的工作模式：

1. 拷贝本地文件。当 SRC 和 DES 路径信息都不包含有单个冒号”:” 分隔符时就启动这种工作模式。如：rsync -a /data /backup
2. 使用一个远程 shell 程序 (如 rsh、ssh) 来实现将本地机器的内容拷贝到远程机器。当 DST 路径地址包含单个冒号”:”分隔符时启动该模式。如：rsync -avz *.c foo:src
3. 使用一个远程 shell 程序 (如 rsh、ssh) 来实现将远程机器的内容拷贝到本地机器。当 SRC 地址路径包含单个冒号”:”分隔符时启动该模式。如：rsync -avz foo:src/bar /data
4. 从远程 rsync 服务器中拷贝文件到本地机。当 SRC 路径信息包含”::” 分隔符时启动该模式。如：rsync -av root@172.16.78.192::www /databack
5. 从本地机器拷贝文件到远程 rsync 服务器中。当 DST 路径信息包含”::” 分隔符时启动该模式。如：rsync -av /databack root@172.16.78.192::www
6. 列远程机的文件列表。这类似于 rsync 传输，不过只要在命令中省略掉本地机信息即可。如：rsync -v rsync://172.16.78.192/www

rsync 参数的具体解释如下：

 

 

 

Rsync 使用实例

SSH 方式

在服务端启动 ssh 服务

 

 

使用 rsync 进行同步

接下来就可以在客户端使用 rsync 命令来备份服务端上的数据了，SSH 方式是通过系统用户来进行备份的，如下：

 

 

上面的信息描述了整个的备份过程，以及总共备份数据的大小。

后台服务方式

启动 rsync 服务

编辑 / etc/xinetd.d/rsync 文件，将其中的 disable=yes 改为 disable=no，并重启 xinetd 服务，如下：

 

 

或者自己手动启动并添加自启动：

 

 

创建配置文件

默认安装好 rsync 程序后，并不会自动创建 rsync 的主配置文件，需要手工来创建，其主配置文件为 “/etc/rsyncd.conf”，创建该文件并插入如下内容：

 

 

创建密码文件

采用这种方式不能使用系统用户对客户端进行认证，所以需要创建一个密码文件，其格式为 “username:password”，用户名可以和密码可以随便定义，最好不要和系统帐户一致，同时要把创建的密码文件权限设置为 600，这在前面的模块参数做了详细介绍。

 

 

备份

完成以上工作，现在就可以对数据进行备份了，如下：

 

 

恢复

当服务器的数据出现问题时，那么这时就需要通过客户端的数据对服务端进行恢复，但前提是服务端允许客户端有写入权限，否则也不能在客户端直接对服务端进行恢复，使用 rsync 对数据进行恢复的方法如下：

 

 

示例脚本

这里这些脚本都是 rsync 网站上的例子：

1、每隔七天将数据往中心服务器做增量备份

 

 

2、备份至一个空闲的硬盘

 

 

3、对 vger.rutgers.edu 的 cvs 树进行镜像

 

 

FAQ

Q：如何通过 ssh 进行 rsync，而且无须输入密码？

A：可以通过以下几个步骤

1. 通过 ssh-keygen 在 server A 上建立 SSH keys，不要指定密码，你会在~/.ssh 下看到 identity 和 identity.pub 文件
2. 在 server B 上的 home 目录建立子目录. ssh
3. 将 A 的 identity.pub 拷贝到 server B 上
4. 将 identity.pub 加到~[user b]/.ssh/authorized_keys
5. 于是 server A 上的 A 用户，可通过下面命令以用户 B ssh 到 server B 上了 e.g.ssh -l userB serverB
6. 这样就使 server A 上的用户 A 就可以 ssh 以用户 B 的身份无需密码登陆到 server B 上了。

Q：如何通过在不危害安全的情况下通过防火墙使用 rsync?

A：解答如下：

这通常有两种情况，一种是服务器在防火墙内，一种是服务器在防火墙外。无论哪种情况，通常还是使用 ssh，这时最好新建一个备份用户，并且配置 sshd 仅允许这个用户通过 RSA 认证方式进入。如果服务器在防火墙内，则最好限定客户端的 IP 地址，拒绝其它所有连接。如果客户机在防火墙内，则可以简 单允许防火墙打开 TCP 端口 22 的 ssh 外发连接就 ok 了。

Q：我能将更改过或者删除的文件也备份上来吗？

A：当然可以：

你可以使用如：rsync -other -options -backupdir = ./backup-2000-2-13 ...这样的命令来实现。

这样如果源文件:/path/to/some/file.c 改变了，那么旧的文件就会被移到./backup-2000-2-13/path/to/some/file.c，

这里这个目录需要自己手工建立起来

Q：我需要在防火墙上开放哪些端口以适应 rsync？

A：视情况而定

rsync 可以直接通过 873 端口的 tcp 连接传文件，也可以通过 22 端口的 ssh 来进行文件传递，但你也可以通过下列命令改变它的端口：

rsync --port 8730 otherhost::

或者

rsync -e 'ssh -p 2002' otherhost:

Q：我如何通过 rsync 只复制目录结构，忽略掉文件呢？

A：rsync -av --include '*/' --exclude '*' source-dir dest-dir

Q：为什么我总会出现 “Read-only file system” 的错误呢？

A：看看是否忘了设 “read only = no” 了

Q：为什么我会出现‘@ERROR: invalid gid’的错误呢？

A：rsync 使用时默认是用 uid=nobody;gid=nobody 来运行的，如果你的系统不存在 nobody 组的话，就会出现这样的错误，可以试试 gid = nogroup 或者其它

Q：绑定端口 873 失败是怎么回事？

A：如果你不是以 root 权限运行这一守护进程的话，因为 1024 端口以下是特权端口，会出现这样的错误。你可以用–port 参数来改变。

Q：为什么我认证失败？

A：从你的命令行看来：

 

 

应该是没有以你的用户名登陆导致的问题，试试rsync -a max@144.16.251.213::test test