实时同步工具lsyncd
2022-05-25 奋发冰淇淋U
加入收藏
Lysncd是lua语言封装了 inotify 和 rsync 工具，采用了 linux 内核（2.6.13 及以后）里的 inotify 触发机制，通过inotify或者fsevents监控本地目录的变化事件，然后通过rsync同步。Lsyncd最强大之处在于简单高效传输海量数据并且Lsyncd支持多种工作模式。
Lsyncd官网
https://github.com/axkibe/lsyncd
下载地址
https://developer.aliyun.com/packageSearch?word=lsyncd
Lsyncd配置文件参数说明
标注：lsyncd.conf可以有多个sync，各自的模式，互不影响
settings #==》全局设置
{
logfile #==》定义日志文件
stausFile #==》定义状态文件
nodaemon=true #==》默认不启用守护模式
statusInterval #==》将lsyncd的状态写入上面的statusFile的间隔，默认10秒
inotifyMode #==》指定inotify监控的事件，默认是CloseWrite，还可以是Modify或CloseWrite or Modify
maxProcesses #==》同步进程的最大个数Ls。假如同时有20个文件需要同步，而maxProcesses = 8，则最大能看到有8个rysnc进程
maxDelays #==》累计到多少所监控的事件激活一次同步，即使后面的delay延迟时间还未到
}
sync #==》里面是定义同步参数，可以继续使用maxDelays来重写settings的全局变量。一般第一个参数指定lsyncd以什么模式运行：rsync、rsyncssh、direct三种模式
{
default.rsync #==》本地目录间同步，使用rsync，也可以达到使用ssh形式的远程rsync效果，或daemon方式连接远程rsyncd进程；
default.direct #==》本地目录间同步，使用cp、rm等命令完成差异文件备份；
default.rsyncssh #==》同步到远程主机目录，rsync的ssh模式，需要使用key来认证
source #==》同步的源目录，使用绝对路径。
target #==》定义目的地址.对应不同的模式有几种写法：
（1）、/tmp/dest #==》本地目录同步，可用于direct和rsync模式
（2）、172.29.88.223:/tmp/dest #==》同步到远程服务器目录，可用于rsync和rsyncssh模式，拼接的命令类似于/usr/bin/rsync -ltsd --delete --include-from=- --exclude=* SOURCE TARGET，剩下的就是rsync的内容了，比如指定username，免密码同步
（3）、172.29.88.223::module #==》同步到远程服务器目录，用于rsync模式
三种模式的示例会在后面给出。
delete #==》为了保持target与souce完全同步，Lsyncd默认会delete = true来允许同步删除。它除了false，还有startup、running值，请参考 Lsyncd 2.1.x ‖ Layer 4 Config ‖ Default Behavior。
init #==》这是一个优化选项，当init = false，只同步进程启动以后发生改动事件的文件，原有的目录即使有差异也不会同步。默认是true
delay #==》累计事件，等待rsync同步延时时间，默认15秒（最大累计到1000个不可合并的事件）。也就是15s内监控目录下发生的改动，会累积到一次rsync同步，避免过于频繁的同步。（可合并的意思是，15s内两次修改了同一文件，最后只同步最新的文件）
excludeFrom #==》排除选项，后面指定排除的列表文件，如excludeFrom = "/etc/lsyncd.exclude"如果是简单的排除，可以使用exclude = LIST。这里的排除规则写法与原生rsync有点不同，更为简单：监控路径里的任何部分匹配到一个文本，都会被排除，例如/bin/foo/bar可以匹配规则foo
（1）、如果规则以斜线/开头，则从头开始要匹配全部
（2）、如果规则以/结尾，则要匹配监控路径的末尾
（3）、?匹配任何字符，但不包括/
（4）、*匹配0或多个字符，但不包括/
（5）、**匹配0或多个字符，可以是/
}
Rsync
{
（1）、bwlimit 限速，单位kb/s，与rsync相同（这么重要的选项在文档里竟然没有标出）
（2）、compress 压缩传输默认为true。在带宽与cpu负载之间权衡，本地目录同步可以考虑把它设为false
（3）、perms 默认保留文件权限。
}
1. pidfile
文件记录lsyncd当前进程id值，
如果没有pid文件，那么则可以启动多个lsyncd进程，
这会导致多个lsyncd进程同时运行造成同步的数据混乱。
如果设置了pid文件，同时只能启动一个lsyncd进程。
避免多个lsyncd进程导致同步混乱的情况，pid文件一定要设置。
2. inotifyMode
指定lsyncd监控的事件，其值有：CloseWrite, Modify, CloseWrite or Modify
默认是CloseWrite。
官方文档写的是 inotify事件，其实是不对的
lsyncd事件是对inotify事件的包装，CloseWrite事件是lsyncd的事件。
我一直以为CloseWrite监听的是 文件写入关闭事件，
可为什么文件删除和创建也被lsyncd监听并同步了呢？
其实CloseWrite事件并不是单一事件而是包含了很多inotify事件，如下：
CloseWrite包含了以下inotify事件：
IN_ATTRIB 文件属性被修改，如 chmod、chown、touch 等
IN_CLOSE_WRITE 可写文件被 关闭
IN_CREATE创建新文件
IN_DELETE文件/目录已在监控目录中删除
IN_DELETE_SELF 监控的项目本身已删除
IN_MOVED_FROM 文件被移出监控目录,如 mv
IN_MOVED_TO 文件被移动到监控目录，如 mv、cp
IN_DONT_FOLLOW 不追踪符号链接的真实路径
IN_ONLYDIR; 仅监视目录
Modify是在CloseWrite的基础上增加了IN_MODIFY事件，并删除了IN_CLOSE_WRITE事件
IN_MODIFY 文件已被修改
CloseWrite or Modify 是在CloseWrite的基础上增加了IN_MODIFY事件
3. Insist
默认情况下，当启动lsyncd失败时，Lsyncd会结束允许并显示一条错误消息。
开启了容错模式以后，lsyncd并不会因为某个配置的错误导致启动失败,
而是记录错误日志并忽略错误配置继续允许。
4. maxProcesses
lsyncd会产生一个子进程去运行sync任务，
多个sync的时候，lsyncd会产生多个子进程并发运行sync任务，
但最多不会超过maxProcesses的值。
5. maxDelays
累计到多少所监控的事件激活一次同步，即使后面的sync配置的delay延迟时间还未到
yum安装Lsyncd
[root@nfs ~]#yum install -y lsyncd lua lua-devel
[root@nfs ~]# rpm -qc lsyncd
/etc/logrotate.d/lsyncd
/etc/lsyncd.conf #==》Lsyncd主配置文件
/etc/sysconfig/lsyncd
写入Lsyncd配置文件/etc/lsyncd.conf
[root@nfs ~]# vim /etc/lsyncd.conf
settings {
logfile = "/var/log/lsyncd/lsyncd.log",
statusFile = "/var/log/lsyncd/lsyncd.status",
inotifyMode = "CloseWrite",
maxProcesses = 8,
}
sync {
default.rsync,
source = "/backup",
target = "rsync_backup@10.0.0.60::backup",
delete = true,
exclude = { ".*" },
delay = 1,
rsync = {
binary = "/usr/bin/rsync",
archive = true,
compress = true,
verbose = true,
password_file = "/etc/rsync.passwd",
_extra = {"--bwlimit=200"}
}
}
lsyncd.conf配置选项说明
全局设置
--开头表示注释，下面是几个常用选项说明：
logfile 定义日志文件
stausFile 定义状态文件
statusInterval 将lsyncd的状态写入上面的statusFile的间隔，默认10秒
nodaemon=true 表示不启用守护模式，默认
inotifyMode 指定inotify监控的事件，默认是CloseWrite，还可以是Modify或CloseWrite or Modify
maxProcesses 同步进程的最大个数。假如同时有20个文件需要同步，而maxProcesses = 8，则最大能看到有8个rysnc进程
maxDelays 累计到多少所监控的事件激活一次同步，即使后面的delay延迟时间还未到
sync
定义同步参数，可以继续使用maxDelays来重写settings的全局变量。
模式运行
default.rsync 本地目录间同步，使用rsync，也可以达到使用ssh形式的远程rsync效果，或daemon方式连接远程rsyncd进程；
default.direct 本地目录间同步，使用cp、rm等命令完成差异文件备份；
default.rsyncssh 同步到远程主机目录，rsync的ssh模式，需要使用key来认证
目录设置
source 同步的源目录，使用绝对路径。
target 定义目的地址.对应不同的模式有几种写法：
/tmp/dest 本地目录同步，可用于direct和rsync模式
172.29.88.223:/tmp/dest 同步到远程服务器目录，可用于rsync和rsyncssh模式
excludeFrom 排除选项，后面指定排除的列表文件，如excludeFrom = "/etc/lsyncd.exclude"，如果是简单的排除，可以使用exclude = LIST。
这里的排除规则写法与原生rsync有点不同，更为简单：
监控路径里的任何部分匹配到一个文本，都会被排除，例如foo可以匹配/bin/foo/bar
如果规则以斜线/开头，则从头开始要匹配全部
如果规则以/结尾，则要匹配监控路径的末尾
?匹配单个任何字符，但不包括/
*匹配0或多个字符，但不包括/
**匹配0或多个字符，可以是/
delay 累计事件，等待rsync同步延时时间，默认15秒（最大累计到1000个不可合并的事件）。也就是15s内监控目录下发生的改动，会累积到一次rsync同步，避免过于频繁的同步。（可合并的意思是，15s内两次修改了同一文件，最后只同步最新的文件）
delete 为了保持target与souce完全同步，Lsyncd默认会delete = true来允许同步删除。它除了false，还有startup、running
true Lsyncd将在目标上删除任何不在源中的内容。 在启动时和正常操作中被删除的内容。
false 在lsyncd启动后将在目标上不删除任何不在源中的内容， 在启动时和正常操作中被删除的内容。
startup 启动时将执行一次完全文件同步，保证完全一致；正常运行过程中不会删除target中的文件
running 启动前，增加的会同步，删除的不同步；正常运行过程中会删除target中的文件
使用技巧，先使用startup模式进行一次完全同步，在使用running保持后续的一致性。
bwlimit 限速，单位kb/s，与rsync相同（这么重要的选项在文档里竟然没有标出）
compress 压缩传输默认为true。在带宽与cpu负载之间权衡，本地目录同步可以考虑把它设为false
perms 默认保留文件权限。
其它rsync的选项
其它还有rsyncssh模式独有的配置项，如host、targetdir、rsync_path、password_file，
同步模式
全局配置
settings {
logfile ="/usr/local/lsyncd-2.1.5/var/lsyncd.log",
statusFile ="/usr/local/lsyncd-2.1.5/var/lsyncd.status",
inotifyMode = "CloseWrite",
maxProcesses = 8,
}
I. 本地目录同步，direct：cp/rm/mv
sync {
default.direct,
source = "/tmp/src",
target = "/tmp/dest",
delay = 1
maxProcesses = 1
}
II. 本地目录同步，rsync模式：rsync
sync {
default.rsync,
source = "/tmp/src",
target = "/tmp/dest1",
excludeFrom = "/etc/rsyncd.d/rsync_exclude.lst",
rsync = {
binary = "/usr/bin/rsync",
archive = true,
compress = true,
bwlimit = 2000
}
}
III. 远程目录同步，rsync模式 + rsyncd daemon
sync {
default.rsync,
source = "/tmp/src",
target = "syncuser@172.29.88.223::module1",
delete = true,
exclude = { ".*", ".tmp" },
delay = 1,
maxDelays = 1,
init = true,
rsync = {
binary = "/usr/bin/rsync",
archive = true,
compress = true,
verbose = false,
password_file = "/etc/rsyncd.d/rsync.pwd",
_extra = {"--bwlimit=200"}
}
}
IV. 远程目录同步，rsync模式 + ssh shell
sync {
default.rsync,
source = "/tmp/src",
target = "172.29.88.223:/tmp/dest",
-- target = "root@172.29.88.223:/remote/dest",
-- 上面target，注意如果是普通用户，必须拥有写权限
maxDelays = 5,
delay = 30,
-- init = true,
rsync = {
binary = "/usr/bin/rsync",
archive = true,
compress = true,
bwlimit = 2000
-- rsh = "/usr/bin/ssh -p 22 -o StrictHostKeyChecking=no"
-- 如果要指定其它端口，请用上面的rsh
}
}
V. 远程目录同步，rsync模式 + rsyncssh，效果与上面相同
sync {
default.rsyncssh,
source = "/tmp/src2",
host = "172.29.88.223",
targetdir = "/remote/dir",
excludeFrom = "/etc/rsyncd.d/rsync_exclude.lst",
-- maxDelays = 5,
delay = 0,
-- init = false,
rsync = {
binary = "/usr/bin/rsync",
archive = true,
compress = true,
verbose = true,
_extra = {"--bwlimit=2000"},
},
ssh = {
port = 1234
}
}
启动Lsyncd并设置开机自启动
systemctl start lsyncd
systemctl enable lsyncd
测试
#==》Lsycnd服务端创建
[root@nfs ~]# touch /backup/test1{1..5}.txt
[root@nfs ~]# ls -l /backup/
total 0
-rw-r--r-- 1 root root 0 Aug 30 17:18 test11.txt
-rw-r--r-- 1 root root 0 Aug 30 17:18 test12.txt
-rw-r--r-- 1 root root 0 Aug 30 17:18 test13.txt
-rw-r--r-- 1 root root 0 Aug 30 17:18 test14.txt
-rw-r--r-- 1 root root 0 Aug 30 17:18 test15.txt
#==》Rsync守护进程主机查看
[root@rsync ~]# ls -l /backup/
total 0
-rw-r--r--. 1 www www 0 Aug 30 2019 test11.txt
-rw-r--r--. 1 www www 0 Aug 30 2019 test12.txt
-rw-r--r--. 1 www www 0 Aug 30 2019 test13.txt
-rw-r--r--. 1 www www 0 Aug 30 2019 test14.txt
-rw-r--r--. 1 www www 0 Aug 30 2019 test15.txt
rsync 用法教程
参考地址
http://www.ruanyifeng.com/blog/2020/08/rsync.html
采坑之旅
在实际使用中在后台上传文件后两台服务器双向同步的过程中发现会产生很多临时的隐藏文件，并且上传的图片经常显示不全。经过排查发现只有上传较大的文件（比如1M以上的图片）会产生这样现象，原因是Lysncd在同步大文件时会把文件切割成小块的文件传输最后合并。导致这些小块文件来回同步互相锁定而发生错误。
解决方案：即在Lysncd的配置文件中把隐藏的临时文件和切割分段文件的过滤不同步即可：
exclude = { ".*","*.filepart"},
