Redis分片机制

Redis分片前提:Redis可以通过修改内存的大小实现数据的保存,但是不能设置的过大
解决方案:可以采用Redis分片机制来实现内存数据的扩容,使用Redis分片的主要目的就是为了内存扩容,解决海量数据的存储问题
Redis每个分片内的数据都是不相同的

Redis分片搭建步骤

1.分离三个分片节点即准备多个配置文件(复制三份Redis.conf)

2.修改端口号(vim XXX.conf)

3.关闭AOF模式

AOF模式特点:

AOF模式默认是关闭状态如果需要则手动开启
AOF模式可以记录程序的执行过程,可以实现数据的实时持久化,但是AOF文件占用空间大,回复数据熟读慢
AOF模式开启之后RDB模式不再生效

4.修改RDB模式名称

RDB模式特点:

RDB模式采用定期持久化的方式,会有丢失数据的风险
RDB模式记录的是当前Redis的内存记录快照,只记录当前状态,持久化效率最高

RDB持久化命令:

save 同步操作,要求记录马上持久化,可能对现有的操作造成阻塞
bgsave 异步操作,开启单独的线程实现持久化任务

持久化周期

save 900 1 在900秒内,如果执行一次更新操作,则持久化一次.
save 300 10 在300秒内,如果执行10次更新操作,则持久化一次.
save 60 10000 在60秒内,如果执行10000次更新操作,则持久化一次.
save 1 1 ???不可以容易阻塞性能太低.不建议使用.
用户操作越频繁,则持久化周期越短.

启动三台Redis

在这里插入图片描述

Redis入门案例

ShardedJedis 是通过一致性哈希来实现分布式缓存的，通过一定的策略把不同的key分配到不同的redis server上，达到横向扩展的目的
JedisShardInfo 存储Ip地址加端口号

/*** 说明:在Linux中有3台redis.需要通过程序进行动态链接.* 实现数据的存储.*/@Testpublic void test01(){List<JedisShardInfo> shards = new ArrayList<>();shards.add(new JedisShardInfo("192.168.126.129", 6379));shards.add(new JedisShardInfo("192.168.126.129", 6380));shards.add(new JedisShardInfo("192.168.126.129", 6381));//分片的APIShardedJedis shardedJedis = new ShardedJedis(shards);shardedJedis.set("key", "value");System.out.println(shardedJedis.get("value"));}
}

一致性Hash算法

一致性哈希算法1997年麻省理工学院提出,解决分布式缓存问题,在移除或者添加一个服务器时,可以尽可能小的改变已存在的服务请求与处理请求服务器之间的映射关系

一致性Hash原理

一般的hash由8位16进制数组成的. 共有2^32种可能性!!!
hash算法对相同的数据进行hash运算时 结果必然相同.

进制

二进制取值 : 0-1 规则满2进1(01010101)
从左往右运算第一位数时1* 2 ^ 0 /1*2^1/以此类推
八进制取值 : 0-7 规则满8进1 2^3=8 每三位二进制数就是一个8进制数
十六进制取值 : 0-9 A-F 规则满16进一 2^4=16 每四位二进制数就是一个16进制数
在2^32的范围内会有多个储存节点,每个节点就好比是一个Redis缓存节点,节点是经过hash运算后的值,我们存入的key-Value是按顺时针去寻找最近的节点

一致性Hash特性

1.平衡性

平衡性是指Hash的结果应该平均分配到各个节点.这样从算法上解决了负载均衡问题,通过引入虚拟节点实现数据的平衡,但是平衡不是绝对的
图解: node1到node2,node1的顺时针存储空间过小容易引发负载不均现象,hash算法会添加一个node2虚拟节点

2.单调性

单调性是指在新增或者删除节点的时候不影响系统的正常运行
图解: 在引入新的节点的时候可以实现数据的迁移
在这里插入图片描述

3.分散性

分散性是指数据应该分散的存放在分布式集群的哥哥节点,节点可以有自己的备份,不必每个节点都存储所有的数据(鸡蛋不要放在一个篮子里)

Spring整合redis分片机制

1.准备Redis.properties文件配置多台Redis

# 配置多台redis
redis.nodes=192.168.126.129:6379,192.168.126.129:6380,192.168.126.129:6381
# 配置单台redis
#redis.host=192.168.126.129
#redis.port=6379

2.编辑配置类

@Configuration 标识我是一个配置类
@PropertySource(“classpath:配置文件路径”)
@Value 动态赋值
1.动态赋值过来的是字符串类型数组内存的多条信息,并且是以逗号分割的所以需要分割字符串split() 方法用于把一个字符串分割成字符串数组
2.新建LIst类型集合,JedisShardInfo 存储IP+端口的泛型
3.遍历所有的截取完成的String类型数组为List赋值,遍历出来的值格式为(node=ip:port)
4.String类型的host为node的:后面的值分割后的下标为0的值
5.Integer下的parseInt方法Integer类型转换为Int类型
6.建一个存储分片的类型JedisShardInfo 将遍历到的host和port传入得到端口
7.将遍历到的IP和端口传入存储端口的List集合
8.new一个Redis分片对象传入List集合
9 . 返回对象

@Configuration  //标识我是配置类
@PropertySource("classpath:/properties/redis.properties")
public class RedisConfig {@Value("${redis.nodes}")private String nodes;   //node,node,node/*** spring整合redis分片机制*/@Beanpublic ShardedJedis shardedJedis(){//1.获取每个节点的信息String[] strNodes = nodes.split(",");List<JedisShardInfo> shards = new ArrayList<>();//2.遍历所有node.为list集合赋值for(String node :strNodes){ //node=ip:portString host = node.split(":")[0];int port = Integer.parseInt(node.split(":")[1]);JedisShardInfo info = new JedisShardInfo(host,port);shards.add(info);}ShardedJedis shardedJedis = new ShardedJedis(shards);return shardedJedis;}

Redis哨兵机制

前提: Redis分片机制虽然可以实现内存数据的扩容,但是如果Redis服务器繁盛了宕机的现在,会影响整个分片使用
问题: Redis分片机制只是实现了内存数据的扩容并没有实现高可用.没有实现当主机宕机之后.由从机自动的实现故障迁移.用户访问不受任何影响.
注:分片机制没实现主机宕机会报错
在这里插入图片描述

Redis主从搭建

如果要实现Redis高可用机制,必须要闲时间主从搭建
主从关系6379主机-M,其他都是从机-S

(1)关闭分片的Redis配置(ps-ef | grep redis)(kill -9 进程)
准备Redis的配置拷贝shards目录(存放的.conf)(cp -r shards sentinel)
删除拷贝过来的持久化文件(.rdb文件)(rm -rf *.rdb)
准备3台Redis服务器(重启Redis即可)
查看Redis默认下的主从关系(进入Redis主机redis-cli -p 文件.conf)(info replication 查看主从关系)
实现主从配置(slave of 主机IP 主机端口)

slave of   主机IP 主机端口

在这里插入图片描述

检查数据是否同步

Redis主从配置问题

问题说明: Redis服务器配置了主从结构之后,如果服务器宕机,然后再次重起,服务器又会变为主机
解决思路: 执行了主从挂载命令该命令一直保存在内存中.当redis服务器重启之后,该命令失效.如果想要一直保持主从的关系.则必须将主从的结构写入Redis.conf的配置文件中.

哨兵机制原理

(1) 启动Redis哨兵,由哨兵来监控整个Redis主从状态,主要监控M(主)主机,同时获取从机的信息
(2) 哨兵利用心跳检测机制(PING-PONG)的方式监控主机是否宕机. 如果连续3次主机没有响应.则哨兵判断主机宕机.
(3) 根据从主机中获取的从机信息.之后利用选举机制算法.挑选新的主机.
(4) 之后将剩余的redis修改为当前主机的的从.并且修改配置文件.