目录

 

一、背景

 

二、步骤

 

0.理论支持

 

1、获取数据

 

2、结果

 

3、分析数据并评估大小

 

三、关于repl-backlog-size

 

---

 

一、背景

 

repl-backlog-size控制这个环形缓冲区.

 

 

​

 

主从断开之后会发生什么？环形队列被覆盖会发生什么？

 

如果从库的读取速度比较慢，就有可能导致从库还未读取的操作被主库新写的操作覆盖了，这会导致主从库间的数据不一致。

 

 

​

 

repl_backlog_buffer 是一个环形缓冲区，主库会记录自己写到的位置，从库则会记录自己 已经读到的位置。

 

 

​

 

主从库的连接恢复之后，从库首先会给主库发送 psync 命令，并把自己当前的 slave_repl_offset 发给主库，主库会判断自己的 master_repl_offset 和 slave_repl_offset 之间的差距。

 

在不影响正常业务的情况下redis主从同步时总会出现timeout，部分同步失败的情况。需要评估一下repl-backlog-size的大小，来避免复制时出现异常

 

二、步骤

 

0.理论支持

 

这个参数和所需的缓冲空间大小有关。缓冲空间的计算公式是：缓冲空间大小 = 主库 写入命令速度 * 操作大小 - 主从库间网络传输命令速度 * 操作大小。在实际应用中，考虑 到可能存在一些突发的请求压力，我们通常需要把这个缓冲空间扩大一倍，

 

即 repl_backlog_size = 缓冲空间大小 * 2，这也就是 repl_backlog_size 的最终值。

 

如果主库每秒写入 2000 个操作，每个操作的大小为 2KB，网络每秒能传输 1000 个操作，那么，有 1000 个操作需要缓冲起来，这就至少需要 2MB 的缓冲空间。否 则，新写的命令就会覆盖掉旧操作了。为了应对可能的突发压力，我们最终把 repl_backlog_size 设为 4MB。

 

1、获取数据

 

借助redis-cli 、info replication..收集master_repl_offset每一分钟前后的数据，其中使用了sed 和awk命令对数据进行处理，为后期分析提供便利。

 

脚本如下

 

#!/bin/bash
# @date: 2020-07-02
# @author: ninesun
# @parm : null
# @desc: save master_repl_offset by mins

echo "start！"
for((i=6379; i<6387; i++))
do
redis-cli -p $i info replication|grep master_repl_offset|sed 's/:/|/g'|awk '{print strftime("%Y-%m-%d %H:%M:%S"),$0}'|sed 's/ /|/g'|sed 's/|/ /'|sed '
s/^/'$i|'/' >> /home/scripts/redis/redisParm.csv
echo "port $i save successful!"
done
echo "end!"

 

 

2、结果

 

 

 

​

 

3、分析数据并评估大小

 

将格式化号的数据借助GP的gpfdist装载到数据库中。

 

3.1 建表

 

create table sor.redisparam_info
( port character varying( 50 ), evt_timestamp timestamp( 0 ) without time zone, 
param character varying( 200 ),param_value character varying( 200 ),
CONSTRAINT redisparam_info_pkey PRIMARY KEY (evt_timestamp,port))
DISTRIBUTED by( evt_timestamp )
partition by range( evt_timestamp )( partition p202004 start( '2020-04-01'::date )
end( '2020-04-30'::date ), partition p202005 start( '2020-05-01'::date )
end( '2020-05-31'::date ), partition p202006 start( '2020-06-01'::date )
end( '2020-06-30'::date ), partition p202007 start( '2020-07-01'::date )
end( '2020-07-31'::date ), partition p202008 start( '2020-08-01'::date )
end( '2020-08-31'::date ), partition p202009 start( '2020-09-01'::date )
end( '2020-09-30'::date ), partition p202010 start( '2020-10-01'::date )
end( '2020-10-31'::date ), partition p202011 start( '2020-11-01'::date )
end( '2020-11-30'::date ), partition p202012 start( '2020-12-01'::date )
end( '2020-12-31'::date ));

drop external table ext_redisparam_info	

CREATE EXTERNAL TABLE ext_redisparam_info (like sor.redisparam_info) LOCATION (
    'gpfdist://******:8100/redisParm.csv'
) FORMAT 'text' (delimiter E'|' null E'\N' escape E'\') 
 SEGMENT REJECT LIMIT 1000 ROWS

 

 

3.2 使用表数据分析。

 

开启gpfdist后，如果不需要存入堆表，可直接在外部表上进行分析。

 

分析sql如下，逻辑为by 时间排序，计算前后两者差距。使用

 

select *,round(t.diff/1024.0,2) as kb,round(t.diff/1024.0/1024.0,2) mb
from( select *, param_value::bigint -( lead( param_value::bigint ) over(
order by evt_timestamp desc )) as diff
from sor.redisparam_info
where port = '6384'
 ) t

 

 

结果

 

 

​

 

3.3 最终分析结果

 

取8个node的平均值，最终得到一个估计结果。

 

 

​

 

 

​

 

三、关于repl-backlog-size

 

这个参数官方的解释。

 

# Set the replication backlog size. The backlog is a buffer that accumulates
# slave data when slaves are disconnected for some time, so that when a slave
# wants to reconnect again, often a full resync is not needed, but a partial
# resync is enough, just passing the portion of data the slave missed while
# disconnected.
#
# The bigger the replication backlog, the longer the time the slave can be
# disconnected and later be able to perform a partial resynchronization.
#
# The backlog is only allocated once there is at least a slave connected.
#
# repl-backlog-size 1mb

 

 

我的疑问

 

redis 2.8 psync · Issue #1400 · redis/redis · GitHub