Redis学习笔记(十八) 集群(下)

Redis学习笔记(十八) 集群(下)复制和故障转移 Redis集群中的节点分为主节点(master)和从节点(slave),其中主节点用于处理槽,而从节点则用于复制某个主节点,并在被复制 的主节点下线时,代替下线主节点继续处理命令请求。

Redis学习笔记(十八) 集群(下)

复制和故障转移

Redis集群中的节点分为主节点(master)和从节点(slave),其中主节点用于处理槽,而从节点则用于复制某个主节点,并在被复制 的主节点下线时,代替下线主节点继续处理命令请求。

设置从节点:CLUSTER REPLICATE < node_id >可以让接收命令的节点称为node_id 所指定节点的从节点,并开始对主节点进行复制。

1)接收到该命令的节点首先会在自己的clusterState.nodes字典中找到node_id所对应节点的clusterNode结构,并将自己的clusterState.myself.slaveof指针指向这个结构,以此来记录这个节点正在复制的主节点:

struct clusterNode{
    //如果这个时一个从节点,那么指向主节点
    struct clusterNode *slaveof;
}

代码100分

2)节点修改自己的clusterState.myself.flags中的属性,关闭原本的REDIS_NODE_MASTER标识,打开REDIS_NODE_SLAVE标识,标识这个节点已经由原来的主节点变成了从节点。

3)节点会调用复制代码,根据clusterState.myself.slaveof指向clusterNode结构所保存的IP地址和端口号,对节点进行复制。

一个节点称为从节点,并开始复制某个主节点这一信息会通过消息发送给集群中的其他节点,最终集群中的所有节点都会知道某个从节点正在复制某个主节点。

集群中的所有节点都会在代表主节点的clusterNode结构的slaves属性和numslaves属性中记录正在复制这个主节点的从节点名单:

代码100分struct clusterNode{
    //正在复制这个主节点的从节点数量
    int numslaves;
    //数组,每个数组项指向一个正在复制这个主节点的从节点的clusterNode
    struct clusterNode **slaves;
}

集群中的每个节点都会定期地向集群中的其他节点发送PING消息,一次来检测对方是否在线,如果接收PING消息的节点没有在规定的时间内,向发送PING消息的节点返回PONG消息,那么发送PING消息的节点就会将阶段后PING消息的节点标记为疑似下线(PFAIL)。

集群中的各个节点会通过相互发送消息的方式来交换集群中各个节点的状态信息:某个节点处于在线状态、疑似下线、已下线状态。

当一个主节点A通过罅隙得知主节点B认为主节点C进入疑似下线状态时,主节点A会在自己的clusterState.nodes字典中找到主节点C所对应的clusterNode结构,并将主节点B的下线报告添加到clusterNode结构的fail_reports链表中

status clusterNode{
    list *fali_reports;//链表,记录所有其他节点对该节点的下线报告
};

下线报告结构:

 

代码100分struct c;isterNodeFailReport{
    //报告目标节点已经下线的节点
    struct clusterNode *node;
    //最后一个从node节点收到下线报告的时间(程序使用这个时间戳来检查下线报告是否过期)
    mstime_t time;
} typedef clusterNodeFailReport;

如果集群里半数以上负责处理槽的主节点都将某个主节点x报告未疑似下线,那么这个主节点x将被标记未已下线,将主节点x标记为已下线的节点会向集群广播一条关于主节点x的FAIL罅隙,所有收到这条罅隙的节点都会立即将主节点x标记为已下线。

故障转移的步骤:

1)复制下线主节点的所有从节点里面,会有一个从节点被选中,

2)被选中的从节点会执行SLAVEOF no one命令,成为新的主节点。

3)新的主节点会撤销所有对已下线主节点的槽指派,并将这些槽指派给自己。

4)新的主节点向集群广播一条PONG消息,这条消息让其他集群中的其他节点立即知道这个节点已经由从节点变为主节点,并且这个主节点已经接管了原本已下线节点负责处理的槽。

5)新的主节点开始接收和自己负责处理的槽有关的命令请求,故障转移完成。

选举新的主节点:

1)集群的配置纪元是一个计数器。他的初始值为0;

2)当集群中的某个节点开始一次故障转移操作时,集群配置纪元的值会被加1。

3)集群里面每个负责处理槽的主节点都有一次投票机会,而第一个向主节点要求投票的从节点将获得主节点的投票。

4)当从节点发现自己正在复制的主节点进入下线状态时,从节点会向集群官博一条CLUSTERMSG_TYPE_FAILOVER_AUTH_REQUEST消息,要求所有收到这个消息、并且具有投票权的主节点向这个从节点投票。

5)如果一个主节点具有投票权,并且这个主节点尚未投票给其他从节点,那么主节点将向要求投票的从节点返回一条CLUSTERMSG_TYPE_FAILOVER_AUTH_ACK消息,表示这个主节点支持从节点成为新的主节点。

6)每个参与选举的从节点都会收到CLUSTERMSG_TYPE_FAILOVER_AUTH_ACK消息,并根据自己收到了多少条这种消息来统计自己获得了多少主节点支持。

7)如果集群中有N个具有投票权的主节点,那么当一个从节点大于等于N/2+1张支持票时,这个从节点就当选成为新的主节点。

8)如果在一个配置纪元里面没有从节点收集到足够多的支持票,那么集群进入下一个纪元,再次进行选举,直到选出新的主节点为止。

 

消息

集群中各个节点通过发送和接收消息来进行通信,我们称发送消息的节点为发送者,接收消息的节点为接收者:

1)MEET消息,当发送者接到客户端发送的CLUSTER MEET命令时,发送者会向接收者发送MEET消息,请求接收者加入到发送者当前所处的集群里面。

2)PING消息,集群里面的每个节点默认每隔一秒钟就会从已知节点列表中随机选出五个节点,然后对这五个节点中最长时间没有发送过PING消息的节点发送PING消息,以此检测被选中的节点是否在线。除此之外,如果节点A最后一次收到节点B发送的PONG消息的时间,距离当前时间已超过了节点A的cluster-node-timeout选项设置时长的一半,那么节点A也会向节点B发送PING消息,这可以防止节点A因长时间没有随机选中节点B作为PING消息的发送对象而导致节点B的信息更新滞后。

3)PONG消息,当接收者收到发送者发来的MEET消息或者PING时,为了向发送者确认这条MEET、PING消息已到达,接收者会向发送者返回一条PONG消息。另外,一个节点也可以通过向集群发送集群广播自己的PONG消息来让集群中的其他节点立即刷新关于这个节点的认识。

4)FAIL消息,当一个主节点A判断另一个主节点B已经进入FAIL状态时,节点A会会向集群广播一条关于节点B的FAIL消息,所有接收到这条消息的节点都会立即将节点B标记为已下线。

5)PUBLISH消息,当节点接收到一个PUBLISH命令时,节点会执行这个命令,并向集群广播一条PUBLISH消息,所有接收到这条PUBLISH消息的节点都会执行相同的PUBLISH命令。

一条消息由消息头(header)和消息正文(data组成)

消息头:

typedef struct {
    //消息的长度(消息头的长度和消息正文的长度)
    uint32_t totlen;
    //消息的类型
    uint16_t type;
    //消息正文包含的节点信息数量
    //只有发送MEET、PING、PONG这三种Gossip协议消息时使用
    uint16_t count;
    
    //萨松这所处的配置纪元
    uint64_t currentEpoch;
    //如果发送者是一个主节点,那么这里面记录的时发送者的配置纪元
    //如果发送者时一个从节点,那么这里面记录的时发送者正在复制的主节点的配置纪元
    uint64_t configEpoch;
    //发送者的名称(ID)
    char sender[REDIS_CLUSTER_NAMELEN];
    //发送者目前的槽指派信息
    unsigned char myslots[REDIS_CLUSTER_SLOTS/8];
    //如果发送者是一个从节点,记录的是发送者正在复制的主节点的名称
    //如果发送者是一个主节点,那么这里记录的是REDIS_NODE_NULL_NAME
    char slaveof[REDIS_CLUSTER_NAMELEN];
    //发送者的端口号
    uint16_t port;
    //发送者的标识值
    uint16_t flags;
    //发送者所处集群的状态
    unsigned char state;
    //消息正文
    union clusterMsgData data;
} clusterMsg;

clusterMsg.data 结构:

union clusterMsgData{
    //MEET PING PONG 消息正文
    struct{
        //每条MEET PING PONG消息都包含两个 clusterMsgDataGossip 结构
        clusterMsgDataGossip gossip[1]
    } ping;
    //FAIL 消息正文
    struct{
        clusterMsgDataFail about;
    } fali;
    
    //PUBLISH消息正文
    struct{
        clusterMsgDataPublish msg;
    } publish;
}

clusterMsgDataGossip结构记录了选中节点的名字,发送者与被选中节点最后一次发送和接收PING消息和PONG消息的时间戳,被选中节点的IP地址和端口号,以及被选中节点的标识值:

typedef struct {
    //节点的名字
    char nodename[REDIS_CLUSTER_NAMELEN];
    //最后一次向该节点发送PING消息的时间戳
    uint32_t ping_sent;
    //最后一次从该 节点接收到PONG消息的时间戳
    uint32_t pong_received;
    //节点的IP地址
    char ip[16];
    //节点的端口号
    uint16_t port;
    //节点的标识值
    uint16_t flags;
} clusterMsgDataGossip;


每天学一点,总会有收获。

 

说明:尊重作者知识产权,文中内容参考《Redis设计与实现》,仅在此做学习与大家分享。

 


 

Redis学习笔记(十八) 集群(下)

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/7969.html

(0)
上一篇 2023-03-10
下一篇 2023-03-10

相关推荐

  • Python 2.7和3的重要区别

    Python 2.7和3的重要区别Python是一种高级编程语言,它简单易学、功能强大和可扩展性好。Python 2.7是2.x系列的最后一个版本,也是当前最稳定和广泛使用的版本。而Python 3是Python语言的下一个主要版本,具有许多更新和改进。在本文中,我们将讨论Python 2.7和3之间的区别和改进,以帮助你更好地理解Python语言。

    2024-06-26
    59
  • 【赵强老师】Oracle存储过程中的out参数「终于解决」

    【赵强老师】Oracle存储过程中的out参数「终于解决」一、什么是存储过程 Oracle存储过程可以说是一个记录集吧,它是由一些PL/SQL语句组成的代码块,这些PL/SQL语句代码像一个方法一样实现一些功能(对单表或多表的增删改查),然后再给这个代码块…

    2023-02-18
    148
  • mysql操作工具_MySQL 漏洞

    mysql操作工具_MySQL 漏洞前几天因工作需要,组长给我安排了一个数据清洗的任务。
    任务:把 A 表的数据洗到 B 表。
    我的第一反应,什么是「洗」?洗数据是什么?洗钱我倒是知道。

    2023-06-08
    137
  • Keras安装教程

    Keras安装教程Keras是一个用Python编写的高级神经网络API,它可以在TensorFlow、CNTK或Theano上运行。Keras的设计原则是使创建神经网络变得简单、快速,同时保持高度的模块化、可扩展性和可维护性。由于其易学易用的特点,Keras已经成为了人工智能入门的首选框架之一。

    2024-06-13
    58
  • 使用Flask中的url_for函数

    使用Flask中的url_for函数当我们在开发Web应用时,页面之间需要相互调用,这时候就需要用到URL路由。Flask是一款轻量级的Web应用框架,使用Python语言编写。在Flask中,像其他Web框架一样,我们可以使用URL路由来定位和处理用户的请求。而在Flask中,使用url_for函数来构建url路径更加方便,本文将介绍如何使用Flask中的url_for函数。

    2024-08-26
    36
  • Mysql事物原理及锁[亲测有效]

    Mysql事物原理及锁[亲测有效]
    一、Innodb事物原理 1.什么是事物 a.事务(Transaction)是数据库区别于文件系统的重要特性之一,事务会把数据库从一种一致性状态转换为另一种…

    2023-04-07
    162
  • redis怎么持久化数据

    redis怎么持久化数据Redis为了持久化数据提供了两种方式:RDB方式和AOF方式。RDB方式的持久化是通过快照(snapshotting)完成的,当符合一定条件时,Redis会自动将内存中所有的数据生成一份副本并存储…

    2022-12-20
    147
  • SQL 入门教程:创建组合(UNION)查询[亲测有效]

    SQL 入门教程:创建组合(UNION)查询[亲测有效]目录汇总:SQL 入门教程:面向萌新小白的零基础入门教程 可用 UNION 操作符来组合数条 SQL 查询。利用 UNION,可给出多条 SELECT 语句,将它们的结果组合成一个结果集。 一、使用

    2023-04-21
    136

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注