Redis入门完整教程：CacheCloud运维功能

13.6　运维功能
CacheCloud作为Redis的运维工具，包含了Redis日常运维的常用功能，
本节将对如下功能进行介绍：
1）应用运维：Redis节点的上下线、手动故障转移、配置管理、扩容
等。
2）接入已存在的Redis：将已经存在的Redis接入到CacheCloud。
3）Redis配置管理：对Redis配置进行模板化管理。
4）迁移工具：实现Redis Standalone、Redis Sentinel、Redis Cluster、
AOF、RDB之间数据迁移。
5）监控报警：机器、应用、实例各个维度的监控报警。
6）系统配置：CacheCloud系统的全局配置。

13.6.1　应用运维
CacheCloud的应用运维主要包含以下几个方面：
·应用上下线。
·Redis Sentinel运维。
·Redis Cluster运维。
·配置管理。
·垂直扩容和水平扩容。
1.应用上下线
我们已经通过CacheCloud自动化部署了应用（上线），那么当需要将这
个应用下线时，如何操作以及要注意哪些呢？管理员进入CacheCloud后台，
进入全局统计选项卡，可以看到应用列表，其中就包含了应用下线的按钮，
如图13-32所示。

应用下线会做如下操作：
·将应用所有的Redis节点关掉。
·CacheCloud停止应用下所有节点统计任务。
·将应用的状态变为下线，客户端无法集群使用已下线应用。
·将所有Redis节点的状态变为下线，这样客户端获取的Redis节点列表代
表为空。
运维提示
1）应用下线属于比较重要的操作，需要应用方和CacheCloud管理员确
认后方可进行，下线应用无法再次上线。
2）超级管理员组的用户才有权限下线应用，超级管理员组的配置方法
请参考13.6.6节。
2.应用运维
单击应用运维按钮即可进入运维界面，图13-33为Redis Cluster的运维界
面。

主要包含如下功能：
·实例基本信息：运行状态、角色、内存使用状态、对象数、连接数、
命中率、日志查看等。
·下线实例：对该节点执行shutdown操作，并关闭该节点相关监控任
务。
·上线实例：针对已下线的节点，重新启动该节点并重新加入监控。
·添加从节点：可以为主节点添加一个从节点，只需要填写节点IP即
可。
·FailOver：手动完成Redis Cluster主从节点的故障转移，其中failover操
作支持三种方法：failover、failover force、failover takeover。

3.配置管理
用户提交配置修改的工单后，管理员在后台流程审批中完成配置确认和
审批，如图13-34所示。
4.应用扩容
用户提交容量伸缩的工单后，管理员可以在后台的流程审批选项卡看到
容量伸缩的相关条目，单击审批处理，即可进入扩容页面，如图13-35所
示。

默认会进入垂直扩容界面，需要填写的是每个实例的maxmemory（以
MB为单位），点击“保存”即可。
运维提示
·垂直扩容：修改每个Redis实例的maxmemory。
·水平扩容：添加新的节点，迁移slots等，可以参考10.4节。
如果本次扩容需要水平扩容，点击水平扩容按钮即可，需要两步来完
成：
1）填写一对主从节点（主从节点不能是同一个IP），如图13-36所示。
2）填写源节点id和目标节点id，以及要迁移的slot，单击migrate按钮，
即可开始一个迁移任务。列表下方会显示实时的迁移进度。

有关水平扩容有两点需要注意：
·不要过度依赖水平扩容，在开启应用分配资源时，提前做好规划更重
要，因为迁移无论对客户端还是服务端都有一定的成本。
·迁移速度上，migrate<set<AOF<RDB，所以在需要做数据迁移时，要弄
清真正需要什么粒度的迁移。 <li="">

13.6.2　接入已存在的Redis节点
到目前为止，Redis都是通过CacheCloud开启的，那么已经存在的Redis
节点如何接入到CacheCloud中呢？操作步骤如下：
1）管理员用户命令下拉菜单中导入应用链接。
2）填写导入应用表单，如图13-38所示，最重要的就是实例详情。与部
署应用不同的是，由于当前导入的节点已经存在，所以除了ip和
maxmemory，还需要填写端口号。

Redis数据节点和Sentinel节点格式如下：
·Redis数据节点：ip：port：maxmemory（单位为MB）。
·Sentinel节点：ip：port：masterName。
具体格式参考实例列表下面的说明即可，这里就不占用篇幅了。但是有
几点需要注意，如下情况会造成检查格式失败：
·机器不受CacheCloud管理。
·Redis节点不存在。
·Redis节点已经在CacheCloud中（可以在机器管理中查询，或者直接查
询instance_info表）。
·Sentinel节点masterName为空或者与真实masterName不符。
·Redis节点节点包含密码，此功能暂不支持密码。
·Redis节点没有配置maxmemory，会展示不出来应用内存统计。
验证格式并点击开始导入，就可以将填写的Redis节点导入到
CacheCloud中，包括应用信息、实例信息、应用和实例的各种统计信息的收
集就会生效，报表就可以展示出来，并且相关报警也会自动启动。那么将已
经存在的Redis接入CacheCloud到底做了什么呢？CacheCloud不会对Redis节
点造成任何性能上影响，只做了如下三件事：
1）验证输入内容。
2）保存应用信息、实例信息、应用与实例关系信息。
3）开启统计功能（每分钟执行一次info命令）。

13.6.3　Redis配置模板
该功能可以对每次开启的Redis节点添加配置模板，如图13-39为后台
Redis配置模板的管理页面。

可以看到Redis配置模板管理提供了对配置模板的增删改查功能，按照
Redis普通节点、Sentinel节点、Cluster节点分别展示。当管理员设置好认为
最好的配置时，可以点击“配置预览”，即可看到配置模板预览，如下所示。
但需要注意该功能是配置模板，不是修改线上配置。

Redis 普通节点配置，所用参数 port=6379,maxmemory=2048 配置模板预览 :
daemonize no
tcp-backlog 511
timeout 300
tcp-keepalive 60
loglevel notice
databases 16 … .

例如读者当前使用的是Redis3.2版本，那么就可以添加诸如protected-
mode、supervised、list-max-ziplist-size、list-compress-depth等3.2版本的新参
数。

13.6.4　迁移工具
1.功能说明
数据迁移工具可以完成如下功能：
·支持在RDB文件、AOF文件、Redis Standalone、Redis Sentinel、Redis
Cluster，Cache-Cloud应用之间进行数据迁移，如图13-40所示支持任意两种
类型的数据源和目标进行数据迁移。
·数据迁移能够保证实时性，如果合理使用可以基本保证一致性。
·以可视化方式实现迁移流程控制。

2.CacheCloud数据迁移工具是如何实现的？
CacheCloud数据迁移工具底层使用的是唯品会公司开源的redis-migrate-
tool [1] 。
redis-migrate-tool是用C语言开发的Redis数据迁移工具，可以做到在
Standalone、Sentinel、Cluster、RDB、AOF之间迁移数据，服务于唯品会公
司数千个Redis节点，无论从数据迁移的准确性、稳定性、高效性等方面都
能满足生产环境的需求，所以CacheCloud选择它作为数据迁移的基础组件，
CacheCloud通过可视化的方式完成节点数据迁移、进度查询、日志查询、配
置查询、历史记录等功能。
redis-migrate-tool是基于复制的原理，将迁移工具伪装成从节点，所以
是实时迁移的，这点比起Redis自带的redis-trib.rb的import命令功能要强大很
多，如图13-41所示。

3.部署和使用
1）准备迁移工具所有的机器。为CacheCloud添加一台机器专门用于数
据迁移。只不过在CacheCloud添加机器时候，机器类型选取“Redis迁移工具
机器”。
运维提示
建议选择一台单独的机器作为迁移工具机器。
2）安装部署redis-migrate-tool：

#1. 进入 cachecloud 目录
cd /opt/cachecloud/
#2. 下载 redis-migrate-tool ，在写本书时还没有 release 版本，如果有了请自行替换
wget https:// github.com/vipshop/redis-migrate-tool/archive/master.zip -O master.zip
#3.  重命名解压等
unzip master.zip
mv redis-migrate-tool-master redis-migrate-tool
cd redis-migrate-tool
#4.  创建数据目录用来存储 redis-migrate-tool 配置和数据
mkdir -p data
#5.  编译
$ autoreconf -fvi
$ ./configure
$ make
#6.  验证安装成功
$ src/redis-migrate-tool -h
#7.  修改目录权限为 ssh 用户
chown -R {cachecloud-ssh-username}.{cachecloud-ssh-username} /opt/cachecloud/redis-
migrate-tool

4.添加迁移任务
选择迁移数据工具后，再点击添加新的迁移任务，即可看到如图13-42
的迁移工具界面。

表单中左右两侧分别代表数据源节点和目标节点。两侧分别可以选择
Redis Cluster、Redis Sentinel、Redis Standalone、AOF、RDB，具体的节点列
表可以是ip：port列表也可以是CacheCloud的appId，只要按照列表下面的说
明格式填写即可。
格式验证后即可开启了一个迁移的任务。如图13-43所示，可以可视化
地观察迁移日志、关闭迁移任务、迁移状态查询，详情可以参考CacheCloud
官方博客和redis-migrate-tool的GitHub文档。

13.6.5　监控报警
如图13-44所示，CacheCloud有8个功能涉及短信和邮件接口，其中左侧
四个前面的章节已经进行了介绍，本节将介绍CacheCloud监控报警的相关业
务。

1.短信和邮件接口
在正式介绍报警业务之前，有必要介绍一下后台的系统配置管理中两个
接口：邮件报警接口和短信报警接口。这两个接口为HTTP接口，这样接口
的实现就不会限于某种语言，它们是邮件和短信通知和报警的基础。
具体参数如表13-3所示。

2.监控报警
监控报警的内容有：
1）应用日报。每天10点，所有CacheCloud用户会收到应用前一天的使
用状态，如图13-45所示，其中包含客户端相关统计和服务端相关统计，该
功能便于用户及时了解自身应用的使用状态。

2）异常统计报警（邮件）。每天10点，所有CacheCloud管理员会收到
系统前一天的异常，如下所示：

CacheCloud 异常统计， 日期 :2016-09-16; 服务器 :10.16.14.181; 总数 :67:
java.util.concurrent.RejectedExecutionException=42
org.springframework.dao.DeadlockLoserDataAccessException=22
com.sohu.cache.exception.SSHException=2
org.springframework.dao.DataIntegrityViolationException=1

这样管理员可以了解CacheCloud服务端的一些运行状态，如果发现异常
较多，可以尽快处理。
3）Redis实例心跳（邮件和短信）。CacheCloud会每5分钟对所有Redis
节点做心跳检测（3次ping操作），如果检测失败（3次ping都失败），管理
员会收到Redis节点心跳停止的消息，例如下面就是appId=10001的某个节点
可能宕掉。
CacheCloud 系统 - 实例 (10.10.xx.1:6381)- 由运行中变为心跳停止 , appId:10001-ranking-online
如果下一次检测到Redis已经恢复（3次ping命令，有一次ping通），管
理员同样会收到Redis节点已经运行的消息，如下所示：
CacheCloud 系统 - 实例 (10.10.xx.1:6381)- 由心跳停止变为运行中 , appId:10001-ranking-online
需要注意的是，心跳停止和下线是两个概念，下线是管理员操作的，心
跳停止是Cachecloud判断的，Redis节点是否真的宕掉需要管理员确认。
4）应用内存和客户端连接数（邮件和短信）。CacheCloud会每隔20分
钟，检测应用以及应用下每个Redis节点的内存和客户端连接数是否超过预
设阀值（第一次申请应用和应用详情界面可以设置）。
例如应用总体内存超过阀值会收到如下消息：
应用 (10001)- 内存使用率报警 - 预设百分之 90- 现已达到百分之 92.88- 请及时关注
例如应用单个Redis节点超过内存预设阀值会收到如下消息：
分片 (10.10.xx.1:6380, 应用 (10001)) 内存使用率报警 - 预设百分之 90- 现已达到百分之 92.28- 应用的内存使用率百分之 88.99-
同样客户端连接数，也是如此同样会收到如下消息：
分片 (10.10.xx.1:6380, 应用 (10001)) 客户端连接数报警 - 预设 2500- 现已达到 2525- 请及时关注
5）机器性能报警（邮件和短信）。CacheCloud会每小时对机器的内
存、负载、CPU进行监控，一旦超过预设阀值，将会收到如下信息：
ip:10.10.xx.1 ， load:10.79
机器报警阀值管理员只需要在后台的系统配置管理中，按照图13-46设
置即可。