华为云用户手册

引发Redis操作失败的场景 场景 说明 故障触发了主备倒换 因Redis底层硬件或其他原因导致主节点故障后，会触发主备倒换，保障实例仍可用，主备倒换会产生约15到30秒的实例连接中断。 变更实例规格过程中短暂只读 变更规格过程中可能会出现秒级的实例连接中断和分钟级的只读。 更多变更规格可能产生的影响，请参考变更规格。 慢查询引起了请求堵塞 执行时间复杂度为O(N)的操作，引发慢查询和请求的堵塞，此时，客户端发起的其他请求可能出现暂时性失败。 复杂的网络环境 由于客户端与Redis服务器之间复杂网络环境引起，可能出现偶发的网络抖动、数据重传等问题，此时，客户端发起的请求可能会出现暂时性失败。 复杂的硬件问题 由于客户端所在的硬件偶发性故障引起，例如虚拟机HA，磁盘时延抖动等场景，此时，客户端发起的请求可能会出现暂时性失败。

D CS 最佳实践汇总 本文汇总了基于分布式缓存服务DCS常见应用场景的操作实践，为每个实践提供详细的方案描述和操作指导，帮助用户轻松使用DCS。 表1 DCS最佳实践一览表 最佳实践 说明 使用DCS实现热点资源顺序访问 该实践介绍如何使用Redis对分布式应用加锁。通过加锁对热点资源进行顺序访问控制，避免在互联网商品秒杀场景出现库存超卖及无序访问等现象。 使用DCS实现排行榜功能 本章节介绍如何使用DCS Redis实现商品热销排行榜的功能。 使用DCS实现 视频直播 弹幕和社交网站评论的功能 本章节介绍如何使用DCS Redis缓存从不同的维度，对某个key-value的列表进行降序显示，应用于视频直播弹幕和社交网站评论的场景。 使用DCS实现游戏开合服的数据同步 该实践介绍如何使用Redis实现不同服务器数据同步。在游戏开合服过程中，会遇到如何将不同服务器数据同步的问题。通过DCS服务Redis的消息队列pub/sub机制，可以将数据变更消息发布到Redis的频道中，其他游戏服务器订阅该频道，接收数据变更消息，从而实现数据同步。 使用DCS实现电商秒杀功能 本章节介绍在电商秒杀场景中，利用DCS Redis作为数据库的缓存，客户端通过访问Redis进行库存查询和下单操作，以满足电商秒杀系统高并发的需求。 使用DCS改造传统应用系统数据库 本章节以将MySQL数据库中的一张表迁移到华为云DCS Redis中为例，介绍数据迁移的过程。 升级Redis 3.0实例到高版本实例 本章节介绍如何通过数据迁移+交换实例IP的方式升级Redis 3.0实例到高版本。Redis 3.0版本较老，开源社区已不再对其进行更新，DCS提供的Redis 4.0及以上版本兼容Redis 3.0，建议客户尽快将DCS Redis 3.0升级到高版本。 使用Nginx实现公网访问DCS 华为云DCS的Redis 4.0及以上版本不支持绑定弹性IP，无法直接通过公网访问。本章节主要介绍通过跳板机访问VPC内Redis 4.0/5.0/6.0单机、主备、读写分离、Proxy集群实例的操作，Cluster集群实例暂不支持使用该方案进行公网访问。 使用SSH隧道代理实现公网访问DCS 华为云DCS的Redis 4.0及以上版本不支持绑定弹性IP，无法直接通过公网访问。本章节主要介绍通过SSH工具的隧道代理机制，通过一台既能连接DCS缓存实例，又能被本地电脑访问的中转服务器，实现“代理转发”，从而访问VPC内Redis单机、主备、读写分离、Proxy集群实例。Cluster集群实例暂不支持使用该方案进行公网访问。 使用华为云ELB公网访问DCS 华为云DCS的Redis 4.0及以上版本不支持绑定弹性IP，无法直接通过公网访问。本章节主要介绍通过ELB“跨VPC后端”方式公网访问单机、主备、读写分离、Proxy集群、Cluster集群单节点。 客户端通过CCE连接DCS 随着容器技术的普及，越来越多的应用程序部署在容器环境中。该实践介绍如何将Redis客户端部署到云容器引擎CCE的集群容器中，通过CCE连接DCS。 配置Redis客户端重试机制 本章节介绍Jedis客户端的重试配置， 通过设计完备的自动重试机制可以大幅降低基础设施或运行环境故障带来的影响。 DCS数据安全 本文提供了使用DCS过程中的安全最佳实践，旨在为提高整体安全能力，提供可操作的规范性指导。 DCS使用规范 本章节介绍DCS Redis在业务使用、数据设计、命令使用、SDK使用和运维管理方面的使用建议。 发现和处理Redis大Key热Key 本章节介绍在使用DCS Redis过程中，如何发现和优化大Key和热Key等问题。 配置Redis Pipeline DCS Redis支持原生Redis的Pipeline（管道传输）机制，本章节介绍关于Redis Pipeline的使用。 优化Jedis连接池 JedisPool是Jedis客户端的连接池，合理设置JedisPool资源池参数能够有效地提升Redis性能与资源利用率。本文档将对JedisPool的使用和资源池的参数配置提供详细的说明和配置建议。

约束与限制 DCS Redis 3.0实例支持绑定弹性IP公网访问，Redis 4.0/5.0/6.0实例不支持直接绑定弹性IP，公网访问方式需通过ELB实现，开启Redis 4.0/5.0/6.0公网访问的方式请参考开启Redis 4.0/5.0/6.0公网访问并获取公网访问地址，如果用户业务依赖公网访问，升级前请先进行评估。 通过数据迁移的方式升级Redis版本，对客户业务可能有以下影响： 数据同步完成后，需要交换源Redis与目标Redis实例的IP地址，交换IP地址时会有一分钟内只读和30秒左右的中断。 如果升级后实例与原实例密码不一致，数据同步完成后，需要切换访问Redis的密码，切换时需要停止业务。因此，建议升级前后实例密码保持一致。 建议在业务低峰期进行实例升级操作。

迁移实例数据 登录分布式缓存服务管理控制台。 在管理控制台左上角单击，选择源Redis所在的区域。 单击左侧菜单栏的“数据迁移”。页面显示迁移任务列表页面。 单击右上角的“创建在线迁移任务”。 设置迁移任务名称和描述。 配置在线迁移任务虚拟机资源的VPC、子网和安全组。 迁移任务需要与源Redis和目标Redis实例网络互通，请选择与Redis实例相同的VPC。 迁移任务创建后，会占用一个租户侧IP，即控制台上迁移任务对应的“迁移机IP”，如果目标Redis配置了IP白名单，需要放通迁移机IP。 迁移任务所选安全组的“出方向规则”需放通源端Redis和目标端Redis的IP和端口（安全组默认情况下为全部放通，则无需单独放通），以便迁移任务的虚拟机资源能访问源Redis和目标Redis。 在线迁移任务创建完成后，单击在线迁移任务右侧“操作”列的“配置”，配置在线迁移的源Redis、目标Redis等信息。 迁移方法请选择“全量迁移＋增量迁移”，仅当选择“全量迁移＋增量迁移”的迁移方法时，支持通过控制台交换源端与目标端实例的IP地址。如果选择“全量迁移”，需要手动切换业务连接Redis的IP地址。 表1 在线迁移方法说明 迁移类型 描述 全量迁移 该模式为Redis的一次性迁移，适用于可中断业务的迁移场景。全量迁移过程中，如果源Redis有数据更新，这部分更新数据不会被迁移到目标Redis。 全量迁移＋增量迁移 该模式为Redis的持续性迁移，适用于对业务中断敏感的迁移场景。增量迁移阶段通过解析日志等技术， 持续保持源Redis和目标端Redis的数据一致。 增量迁移，迁移任务会在迁移开始后，一直保持迁移中状态，不会自动停止。需要您在合适时间，在“操作”列单击“停止”，手动停止迁移。停止后，源端数据不会丢失，只是目标端不再写入数据。增量迁移在传输链路网络稳定情况下是秒级时延，具体的时延情况依赖于网络链路的传输质量。 当迁移方法选择“全量迁移+增量迁移”时，支持选择是否启用“带宽限制”。 启用带宽限制功能，当数据同步速度达到带宽限制时，将限制同步速度的继续增长。 选择是否“自动重连”。如开启自动重连模式，迁移过程中在遇到网络等异常情况时，会无限自动重连。 自动重连模式在无法进行增量同步时，会触发全量同步，增加带宽占用，请谨慎选择。 “源Redis实例”和“目标Redis实例”，请分别选择需要升级的Redis 3.0实例和新建的高版本Redis实例。 如果源Redis和目标Redis为密码访问模式，请分别在“源Redis实例密码”和“目标Redis实例密码”处输入实例密码后，单击密码右侧的“测试连接”，检查实例密码是否正确、网络是否连通。如果源Redis和目标Redis为免密访问模式，无需输入密码，直接单击“测试连接”。 在“源DB”和“目标DB”中，可以选择是否需要指定具体迁移的DB。例如源端输入5，目标端输入6时，表示迁移源Redis DB5中的数据到目标Redis的DB6。当源端不指定DB，目标端指定DB时，表示默认迁移源端的全部数据到目标端指定的DB；当目标端不指定DB时，表示默认迁移到与源端对应的DB。本次操作“源DB”和“目标DB”置空即可。 单击“下一步”。 确认迁移信息，然后单击“提交”，开始创建迁移任务。 可返回迁移任务列表中，观察对应的迁移任务的状态，迁移成功后，任务状态显示“成功”。 如果是增量迁移，会一直保持迁移中的状态。 如需手动停止迁移，请选中需要停止的迁移任务，单击“停止”。 数据迁移后，目标端与源端重复的Key会被覆盖。 如果出现迁移失败，可以单击迁移任务名称，进入迁移任务详情页面，查看“迁移日志”。

方案概述 Redis开源社区自2019年5月19日发布Redis 3.0最后一个小版本后，一直未对Redis 3.0进行更新。华为云DCS也于2021年3月发布了停售DCS Redis 3.0的公告。 鉴于Redis 3.0版本较老，开源社区已不再对其进行更新，DCS提供的Redis 4.0/5.0/6.0高版本兼容Redis 3.0，建议客户尽快将DCS Redis 3.0升级到高版本。 DCS暂不支持直接升级实例版本，只能通过数据迁移将低版本实例中的数据迁移到高版本，从而实现Redis版本升级。本章节介绍如何通过数据迁移+交换实例IP的方式升级Redis 3.0实例到高版本。

迁移后验证 数据迁移前如果目标Redis中数据为空，迁移完成后，可以通过以下方式确认数据的完整性： 连接源Redis和目标Redis。连接Redis的方法请参考Redis-cli客户端连接Redis。 输入info keyspace，查看keys参数和expires参数的值。 对比源Redis和目标Redis的keys参数分别减去expires参数的差值。如果差值一致，则表示数据完整，迁移正常。 注意：如果是全量迁移，迁移过程中源Redis更新的数据不会迁移到目标实例。

前提条件 创建与Redis 3.0相同VPC和子网，相同实例类型、相同访问密码、且规格不小于原实例规格的高版本Redis实例。例如，用户需要将Redis 3.0 16GB主备实例升级到Redis 5.0版本，则需要提前创建一个不小于16GB的Redis 5.0主备实例。 创建Redis实例的操作，请参考创建DCS Redis缓存实例。 手动备份Redis 3.0源实例数据。备份数据的操作，请参考如何导出Redis实例数据？。

关键参数配置建议 maxTotal设置建议 合理设置maxTotal（最大连接数）需要考虑的因素较多，如： 业务希望的Redis并发量。 客户端执行命令时间。 Redis资源，例如Redis分片数。 maxTotal不能超过Redis的最大连接数（查看Redis的最大连接数请参考查看或修改实例最大连接数）。 资源开销，例如虽然希望控制空闲连接，但又不希望因为连接池中频繁地释放和创建连接造成不必要的开销。 假设一次命令时间，即borrow|return resource加上Jedis执行命令（含网络耗时）的平均耗时约为1ms，一个连接的QPS大约是1s/1ms = 1000，而业务期望的单个Redis的QPS是50000（业务总的QPS/Redis分片个数），那么理论上需要的资源池大小（即MaxTotal）是50000 / 1000 = 50。 但事实上在理论值基础上，还要预留一些资源，所以maxTotal可以比理论值大一些。这个值不是越大越好，一方面连接太多会占用客户端和服务端资源，另一方面对于Redis这种高QPS的服务器，如果出现大命令的阻塞，即使设置再大的资源池也无济于事。

JedisPool参数说明 Jedis连接是连接池中JedisPool管理的资源，JedisPool保证资源在一个可控范围内，并保障线程安全。使用合理的GenericObjectPoolConfig配置能够提升Redis的服务性能，降低资源开销。表1及表2提供了一些重要参数的说明及配置建议。 表1 资源设置与使用相关参数 参数 说明 默认值 建议 maxTotal 资源池中的最大连接数。 8 请参见关键参数配置建议。 maxIdle 资源池允许的最大空闲连接数。 8 请参见关键参数配置建议。 minIdle 资源池允许的最小空闲连接数。 0 请参见关键参数配置建议。 blockWhenExhausted 当资源池用尽后，调用者是否要等待。 true：等待。 false：不等待。 只有当值为true时，设置的maxWaitMillis才会生效。 true 建议使用默认值。 maxWaitMillis 当资源池连接用尽后，调用者的最大等待时间（单位：毫秒）。 值为-1表示一直等待。 -1 建议设置具体的最大等待时间。 testOnBorrow 向资源池借用连接时是否做连接有效性检测（ping）。检测到的无效连接将会被移除。 true：校验。 false：不校验。 false 业务量很大时候建议设置为false，减少一次ping的开销。 testOnReturn 向资源池归还连接时是否做连接有效性检测（ping）。检测到的无效连接将会被移除。 true：校验。 false：不校验。 false 业务量很大时候建议设置为false，减少一次ping的开销。 jmxEnabled 是否开启JMX监控。 true：开启。 false：不开启。 true 建议开启，请注意应用本身也需要开启。 空闲Jedis对象检测由表2中的参数组合完成。 表2 空闲资源检测相关参数 名称 说明 默认值 建议 testWhileIdle 是否在空闲资源监测时通过ping命令监测连接有效性，无效连接将被销毁。 false true timeBetweenEvictionRunsMillis 空闲资源的检测周期（单位：毫秒）。 值为-1表示不检测。 -1 建议设置，周期自行选择，也可以默认也可以使用下方JedisPoolConfig 中的配置。 minEvictableIdleTimeMillis 资源池中资源的最小空闲时间（单位：毫秒），达到此值后空闲资源将被移除。 1,800,000（即30分钟） 可根据自身业务决定，一般默认值即可，也可以考虑使用下方JedisPoolConfig中的配置。 numTestsPerEvictionRun 做空闲资源检测时，每次检测资源的个数。 3 可根据自身应用连接数进行微调，设置为-1时，表示对所有连接做空闲监测。 为了方便使用，Jedis提供了JedisPoolConfig，它继承了GenericObjectPoolConfig在空闲检测上的一些设置。 public class JedisPoolConfig extends GenericObjectPoolConfig { public JedisPoolConfig() { setTestWhileIdle(true); setMinEvictableIdleTimeMillis(60000); setTimeBetweenEvictionRunsMillis(30000); setNumTestsPerEvictionRun(-1); }} 可以在org.apache.commons.pool2.impl.BaseObjectPoolConfig中查看全部默认值。

运维管理规范 原则 原则说明 备注 生产开启密码保护 生产系统中需要开启Redis密码保护机制。 - 现网操作安全 禁止开发人员私自连到线上Redis服务。 - 验证业务的故障处理能力或容灾逻辑 在测试环境或者预生产环境中组织演练，验证在Redis主备倒换、宕机或者扩缩容场景下业务的可靠性。 主备倒换可以自行在页面上触发。强烈建议使用Lettuce客户端的应用进行相关的演练。 监控实践 关注Redis负载，在过载前提前扩容。 根据告警基线配置告警：配置节点cpu、内存、带宽等告警。 日常巡检 例行检查各个节点的内存使用率，查看主节点内存使用率是否有不均衡的状态。 内存使用率不均衡说明存在大Key问题，需要进行大Key拆分及优化。 开启热Key例行分析，并分析是否有Key频繁调用。 - 例行诊断Redis实例的命令，分析O(N)类命令是否存在隐患。 针对O(N)命令，即使耗时很小，建议开发分析业务增长，N是否会增长。 例行巡检Redis慢日志命令。 针对慢 日志分析 隐患，并尽快从业务上进行修复。

SDK使用规范 原则 原则说明 备注 使用连接池和长连接 短连接性能差，推荐使用带有连接池的客户端。 连接的频繁创建和销毁，会浪费大量的系统资源，极限情况会造成宿主机宕机。请确保使用了正确的Redis客户端连接池配置。 客户端需要对可能的故障和慢请求做容错处理 由于Redis服务可能因网络波动或基础设置故障的影响，引发主备倒换，命令超时或慢请求等现象，需要在客户端内设计合理的容错重试机制。 参考Redis客户端重试指南。 合理设置重试时间和次数 合理设置容错处理的重试时间，根据业务要求设置，避免过短或者过长。 如果超时重试时间设置的非常短（例如200毫秒以下），可能引发重试风暴，极易引发业务层雪崩。 如果重试时间设置得较长或者重试次数设置得较大，则可能导致在主备倒换情况下业务恢复较慢。 避免使用Lettuce客户端 Lettuce客户端在默认配置下有一定性能优势，并且是spring的默认客户端，但是Jedis客户端在面对连接异常，网络抖动等场景下的异常处理和检测能力明显强于Lettuce，可靠性更强，建议使用Jedis。 Lettuce存在几个方面的问题： Lettuce默认未配置集群拓扑刷新的配置，会导致Cluster集群在发生拓扑信息变化（主备倒换，扩容缩容）时，无法识别新的节点信息，导致业务失败。可参考使用Lettuce连接Cluster集群实例时的扩容异常处理。 Lettuce没有连接池校验的功能，无法检测连接池中的连接是否仍然有效，获取失效连接之后会导致业务失败，存在分钟级不可用的故障风险。

数据设计规范 分类 原则 原则说明 备注 Key相关规范 使用统一的命名规范。 一般使用业务名（或数据库名）为前缀，用冒号分隔。Key的名称保证语义清晰。 例如，业务名:子业务名:id 控制Key名称的长度。 在保证语义清晰的情况下，尽量减少Key的长度。有些常用单词可使用缩写，例如，user缩写为u，messages缩写为msg。 建议不要超过128字节（越短越好）。 禁止包含特殊字符（大括号“{}”除外）。 禁止包含特殊字符，如空格、换行、单双引号以及其他转义字符。 由于大括号“{}”为Redis的hash tag语义，如果使用的是集群实例，Key名称需要正确地使用大括号避免分片不均的情况。 Value相关规范 设计合理的Value大小。 设计合理的Key中Value的大小，推荐小于10 KB。 过大的Value会引发分片不均、热点Key、实例流量或CPU使用率冲高等问题，还可能导致变更规格和迁移失败。应从设计源头上避免此类问题带来的影响。 设计合理的Key中元素的数量。 对于集合和列表类的数据结构（例如Hash，Set，List等），避免其中包含过多元素，建议单Key中的元素不要超过5000个。 由于某些命令（例如HGETALL）的时间复杂度直接与Key中的元素数量相关。如果频繁执行时间复杂度为O(N)及以上的命令，且Key中的子Key数量过多容易引发慢请求、分片流量不均或热点Key问题。 选择合适的数据类型。 合理地选择数据结构能够节省内存和带宽。 例如存储用户的信息，可用使用多个key，使用set u:1:name "X"、set u:1:age 20存储，也可以使用hash数据结构，存储成1个key，设置用户属性时使用hmset一次设置多个，同时这样存储也能节省内存。 设置合理的过期时间。 合理设置Key的过期时间，将过期时间打散，避免大量Key在同一时间点过期。 设置过期时间时，可以在基础值上增减一个随机偏移值，避免在同一个时间点大量Key过期。大量Key过期会导致CPU使用率冲高。

命令使用规范 原则 原则说明 备注 谨慎使用O(N)复杂度的命令 时间复杂度为O(N)的命令，需要特别注意N的值。避免N过大，造成Redis阻塞以及CPU使用率冲高。 例如：hgetall、lrange、smembers、zrange、sinter这些命令都是做全集操作，如果元素很多，会消耗大量CPU资源。可使用hscan、sscan、zscan这些分批扫描的命令替代。 禁用高危命令 禁止使用flushall、keys、hgetall等命令，或对命令进行重命名限制使用。 请参考命令重命名的内容。 慎重使用select Redis多数据库支持较弱，多业务用多数据库实际还是单线程处理，会有干扰。最好是拆分使用多个Redis。 - 使用批量操作提高效率 如果有批量操作，可使用mget、mset或pipeline，提高效率，但要注意控制一次批量操作的元素个数。 mget、mset和pipeline的区别如下： mget和mset是原子操作，pipeline是非原子操作。 pipeline可以打包不同的命令，mget和mset做不到。 使用pipeline，需要客户端和服务端同时支持。 避免在lua脚本中使用耗时代码 lua脚本的执行超时时间为5秒钟，建议不要在lua脚本中使用比较耗时的代码。 比如长时间的sleep、大的循环等语句。 避免在lua脚本中使用随机函数 调用lua脚本时，建议不要使用随机函数去指定key，否则在主备节点上执行结果不一致，从而导致主备节点数据不一致。 - 遵循集群实例使用lua的限制 遵循集群实例使用lua的限制。 使用EVAL和EVALSHA命令时，命令参数中必须带有至少1个key，否则客户端会提示“ERR eval/evalsha numkeys must be bigger than zero in redis cluster mode”的错误。 使用EVAL和EVALSHA命令时，DCS Redis集群实例使用第一个key来计算slot，用户代码需要保证操作的key是在同一个slot。 对mget，hmget等批量命令做并行和异步IO优化 某些客户端对于MGET，HMGET这些命令没有做特殊处理，串行执行再合并返回，效率较低，建议做并行优化。 例如Jedis对于MGET命令在集群中执行的场景就没有特殊优化，串行执行，比起lettuce中并行pipeline，异步IO的实现，性能差距可达到数十倍，该场景建议使用Jedis的客户端自行实现slot分组和pipeline的功能。 禁止使用del命令直接删除大Key 使用del命令直接删除大Key（主要是集合类型）会导致节点阻塞，影响后续请求。 Redis 4.0后的版本可以通过UNLINK命令安全地删除大Key，该命令是异步非阻塞的。 对于Redis 4.0之前的版本： 如果是Hash类型的大Key，推荐使用hscan + hdel 如果是List类型的大Key，推荐使用ltrim 如果是Set类型的大Key，推荐使用sscan + srem 如果是SortedSet类型的大Key，推荐使用zscan + zrem

业务使用规范 原则 原则说明 备注 就近部署业务，避免时延过大 如果部署位置过远（非同一个region）或者时延较大（例如业务服务器与Redis实例通过公网连接），网络延迟将极大影响读写性能。 如果对于时延较为敏感，请避免创建跨AZ Redis实例。 冷热数据区分 建议将热数据加载到 Redis 中。低频数据可存储在 Mysql或者ElasticSearch中。 Redis将低频数据存入内存中，并不会加速访问，且占用Redis空间。 业务数据分离 避免多个业务共用一个Redis。 一方面避免业务相互影响，另一方面避免单实例膨胀，并能在故障时降低影响面，快速恢复。 禁止使用select功能在单Redis实例做多db区分。 Redis单实例内多DB隔离性较差，Redis开源社区已经不再发展多DB特性，后续不建议依赖该特性。 设置合理的内存淘汰（逐出）策略 合理设置淘汰策略，可以在Redis内存意外写满的时候，仍然正常提供服务。 DCS默认的逐出策略为volatile-lru，请根据业务需求选择。Redis支持的数据逐出策略 以缓存方式使用Redis Redis事务功能较弱，不建议过多使用。 事务执行完后，不可回滚。 数据异常的情况下，支持清空缓存进行数据恢复。 Redis本身没有保障数据强一致的机制和协议，业务不能强依赖Redis数据的准确性。 以缓存方式使用Redis时，所有的key需设置过期时间，不可把Redis作为数据库使用。 失效时间并非越长越好，需要根据业务性质进行设置。 防止缓存击穿 推荐搭配本地缓存使用Redis，对于热点数据建立本地缓存。本地缓存数据使用异步方式进行刷新。 - 防止缓存穿透 非关键路径透传数据库，建议对访问数据库进行限流。 - 从Redis获取数据未命中时，访问只读数据库实例。可通过 域名 等方式对接多个只读实例。 核心是未命中的缓存数据不会打到主库上。 用域名对接多个只读数据库实例，一旦出现问题，可以增加只读实例应急。 不用作消息队列 发布订阅场景下，不建议作为消息队列使用。 如没有非常特殊的需求，不建议将 Redis 当作消息队列使用。 Redis 当作消息队列使用，会有容量、网络、效率、功能方面的多种问题。 如需要消息队列，可使用高吞吐的Kafka或者高可靠的RocketMQ。 合理选择规格 如果业务增长会带来Redis请求增长，请选择集群实例（Proxy集群和Cluster集群）。 单机和主备扩容只能实现内存、带宽的扩容，无法实现计算性能扩容。 生产实例需要选择主备或者集群实例，不能选用单机实例。 - 主备实例，不建议使用过大的规格。 Redis在执行RewriteAOF和BGSAVE的时候，会fork一个进程，过大的内存会导致卡顿。 具备降级或容灾措施 缓存访问失败时，具备降级措施，从DB获取数据；或者具备容灾措施，自动切换到另一个Redis使用。 -

如何优化大Key和热Key 类别 方法 大Key 进行大Key拆分。 分为以下几种场景： 该对象为String类型的大Key：可以尝试将对象分拆成几个Key-Value， 使用MGET或者多个GET组成的pipeline获取值，分拆单次操作的压力。如果是集群实例，由于集群实例包含多个分片，拆分后的Key会自动平摊到集群实例的多个分片上，从而降低对单个分片的影响。 该对象为集合类型的大Key，并且需要整存整取：在设计上严格禁止这种场景的出现，因为无法拆分。有效的方法是将该大Key从Redis去除，单独放到其余存储介质上。 该对象为集合类型的大Key，每次只需操作部分元素：将集合类型中的元素分拆。以Hash类型为例，可以在客户端定义一个分拆Key的数量N，每次对HGET和HSET操作的field计算哈希值并取模N，确定该field落在哪个Key上，实现上类似于Redis Cluster的计算slot的算法。 将大Key单独转移到其余存储介质。 无法拆分的大Key建议使用此方法，将不适用Redis能力的数据存至其它存储介质，如SFS或者其余NoSQL数据库，并在Redis中删除该大Key。 注意： 禁止使用DEL直接删除大Key，可能会造成Redis阻塞，甚至主备倒换。Redis 4.0及以上版本建议采用UNLINK命令删除大Key。 合理设置过期时间并对过期数据定期清理。 合理设置过期时间，避免历史数据在Redis中大量堆积。由于Redis的惰性删除策略，过期数据可能并不能及时清理，如果发现Redis过期Key清理较慢，建议配置过期Key扫描。 热Key 使用读写分离。 如果热Key主要是读流量较大，则可以在客户端配置读写分离，降低对主节点的影响。还可以增加多个副本以满足读需求，但是备机较多也有相应的影响，DCS主备节点之间使用的是星型复制，即所有的备节点都直接和主节点保持同步，这样能保证备节点之间相互独立，且复制延迟较小。缺点是在备节点数量较多的情况下，主节点的CPU和网络负载会较高。 使用客户端缓存/本地缓存。 该方案需要提前了解业务的热点Key有哪些，设计客户端/本地和远端Redis的两级缓存架构，热点数据优先从本地缓存获取，写入时同时更新，这样能够分担热点数据的大部分读压力。缺点是需要修改客户端架构和代码，改造成本较高。 设计熔断/降级机制。 热Key极易造成缓存击穿，高峰期请求都直接透传到后端数据库上，从而导致业务雪崩。因此热Key的优化一定需要设计系统的熔断/降级机制，在发生击穿的场景下进行限流和服务降级，保护系统的可用性。

大Key和热Key的影响 类别 影响 大Key 造成规格变更失败。 Redis集群变更规格过程中会进行数据rebalance（节点间迁移数据），单个Key过大的时候会触发Redis内核对于单Key的迁移限制，造成数据迁移超时失败，Key越大失败的概率越高，大于512MB的Key可能会触发该问题。 造成数据迁移失败。 数据迁移过程中，如果一个大Key的元素过多，则会阻塞后续Key的迁移，后续Key的数据会放到迁移机的内存Buffer中，如果阻塞时间太久，则会导致迁移失败。 容易造成集群分片不均的情况。 各分片内存使用不均。例如某个分片占用内存较高甚至首先使用满，导致该分片Key被逐出，同时也会造成其他分片的资源浪费。 各分片的带宽使用不均。例如某个分片被频繁流控，其他分片则没有这种情况。 客户端执行命令的时延变大。 对大Key进行的慢操作会导致后续的命令被阻塞，从而导致一系列慢查询。 导致实例流控。 对大Key高频率的读会使得实例出方向带宽被打满，导致流控，产生大量命令超时或者慢查询，业务受损。 导致主备倒换。 对大Key执行危险的DEL操作可能会导致主节点长时间阻塞，从而导致主备倒换。 热Key 容易造成集群分片不均的情况。 造成热Key所在的分片有大量业务访问而同时其他的分片压力较低。这样不仅会容易产生单分片性能瓶颈，还会浪费其他分片的计算资源。 使得CPU冲高。 对热Key的大量操作可能会使得CPU冲高，如果表现在集群单分片中就可以明显地看到热Key所在的分片CPU使用率较高。这样会导致其他请求受到影响，产生慢查询，同时影响整体性能。业务量突增场景下甚至会导致主备切换。 易造成缓存击穿。 热Key的请求压力过大，超出Redis的承受能力易造成缓存击穿，即大量请求将被直接指向后端的数据库，导致数据库访问量激增甚至宕机，从而影响其他业务。 对于如何避免产生大Key和热Key，需要在业务设计阶段就考虑。参考Redis使用规范。

大Key和热Key的定义 大Key和热Key场景较多，没有非常明确的边界，需要根据实际业务判断。 名词 定义 大Key 大Key可以分为两种情况： Key的Value占用存储空间较大。一般单个String类型的Key大小达到10KB，或者集合类型的Key总大小达到50MB，则被定义为大Key。 Key的元素较多。一般集合类型的Key中元素超过5000个，则被定义为大Key。 热Key 通常当一个Key的访问频率或资源占用显著高于其他Key时，则称之为热Key。例如： 某个集群实例一个分片每秒处理10000次请求，其中有3000次都是操作同一个Key。 某个集群实例一个分片的总带宽使用（入带宽+出带宽）为100Mbits/s，其中80Mbits是由于对某个Hash类型的Key执行HGETALL所占用。

配置Nginx Nginx安装后，需要配置请求转发规则，告诉Nginx哪个端口收到的请求，应该转发到后端哪个Redis实例。 打开并修改配置文件。 cd /etc/nginxvi nginx.conf 配置示例如下，如果有多个redis实例需要公网连接，可以配置多个server，在proxy_pass中配置Redis实例连接地址。 stream { server { listen 8080; proxy_pass 192.168.0.5:6379; } server { listen 8081; proxy_pass 192.168.0.6:6379; }} proxy_pass参数配置值为同一vpc下的Redis实例的IP地址，具体可从缓存实例详情页面的“连接信息”区域获取。 图4 Nginx配置信息的输入位置 重启Nginx服务。 service nginx restart 验证启动是否成功。 netstat -an|grep 808 图5 启动Nginx及验证 8080和8081两个端口都在监听状态，Nginx启动成功。

方案概述 当前，华为云DCS的Redis 4.0及以上版本不支持绑定弹性IP，无法直接通过公网访问。 本章节主要介绍通过跳板机访问VPC内Redis 4.0/5.0/6.0单机、主备、读写分离、Proxy集群实例的操作，Cluster集群实例暂不支持使用该方案进行公网访问。 图1中安装了Nginx代理工具的ECS就是一台跳板机，它与DCS Redis实例在相同VPC，可通过子网IP访问Redis实例；为ECS绑定弹性IP后，公网可以访问ECS；Nginx支持监听多个端口，并将请求内容转发到不同的后端Redis实例。 图1 通过Nginx访问VPC内DCS Redis 不建议在生产环境中使用公网访问的方式，对于因公网网络性能造成的客户端访问异常不计入SLA。

安装Nginx 购买ECS后，需要在ECS上安装Nginx，本文以ECS操作系统为Centos7.x为例进行安装，不同操作系统命令稍有不同。 执行以下命令，添加Nginx到yum源。 sudo rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm 添加完之后，执行以下命令，查看是否已经添加成功。 yum search nginx 添加成功之后，执行以下命令，安装Nginx。 sudo yum install -y nginx 执行以下命令安装stream模块。 yum install nginx-mod-stream --skip-broken 启动Nginx并设置为开机自动运行。 sudo systemctl start nginx.servicesudo systemctl enable nginx.service 在本地浏览器中输入服务器地址（ECS公网IP地址），查看安装是否成功。 如果出现下面页面，则表示安装成功。

（可选）长连接场景 如果用户公网访问时需要使用长连接，那么需要在如上配置Nginx中增加以下配置： Nginx到后端server的超时时间 stream { server { listen 8080; proxy_pass 192.168.0.5:6379; proxy_socket_keepalive on; proxy_timeout 60m; proxy_connect_timeout 60s; } server { listen 8081; proxy_pass 192.168.0.6:6379; proxy_socket_keepalive on; proxy_timeout 60m; proxy_connect_timeout 60s; }} proxy_timeout 默认值是10m（10分钟），可以根据用户需要设为60m或其他值。Nginx官网 proxy_timeout说明 客户端到Nginx的超时时间 http { keepalive_timeout 3600s;} keepalive_timeout 默认值是75s，可以根据用户需要设为3600s或其他值。Nginx官网 keepalive_timeout 说明

通过Nginx访问Redis 登录ECS控制台，确认跳板机的安全组规则是否放开，如果没有，则需要为安全组放开8080和8081两个端口。 单击ECS实例名称，进入ECS详情页面。 选择“安全组”页签，单击“配置规则”，可进入安全组配置页面。 图6 进入ECS安全组 图7 添加安全组入方向规则 在公网环境中打开Redis命令行界面，输入如下命令，登录与查询都正常。 公网环境已参考Redis-cli连接中相关步骤，安装Redis-cli客户端。 ./redis-cli -h {myeip} -p {port} -a {mypassword} 其中，命令中的{myeip}为主机连接地址，需要填写ECS的弹性IP，端口需要填写ECS上Nginx的监听端口。 如下图所示，设置的2个监听端口分别为8080和8081，对应后端2个Redis实例。 图8 通过Nginx代理连接第一个Redis实例 图9 通过Nginx代理连接第二个Redis实例

前提条件 已创建DCS Redis实例，作为迁移的目的数据库。请参考创建DCS Redis缓存实例。 如果您的源端是华为云的MySQL数据库，Redis实例请选择与MySQL数据库实例相同的VPC。 已有MySQL数据库，并在其中创建一张表，作为源端数据库中的数据。 例如，在MySQL数据库中创建一张名为student_info的表格，表中共有4列，迁移后表中的id列的值将成为Redis中的hash的key，其余的列名将成为hash的field，而列的值作为field对应的value。 MySQL数据库所在服务器与DCS缓存实例网络互通。 MySQL数据库与Redis实例所在VPC为同一VPC 同一VPC内网络默认互通。 MySQL数据库与Redis实例所在VPC为相同region下的不同VPC 如果MySQL数据库所在VPC与Redis实例不在相同VPC中，可以通过建立VPC对等连接方式连通网络，具体请参考：缓存实例是否支持跨VPC访问？。 MySQL数据库与Redis实例所在VPC不在相同region 如果MySQL数据库和Redis实例不在同一region，仅支持通过云专线打通网络，请参考云专线。 公网访问 MySQL数据库所在服务器公网访问Redis 4.0/5.0/6.0实例时，需要开启实例公网访问开关，具体请参考开启Redis 4.0/5.0/6.0公网访问并获取公网访问地址。 MySQL数据库所在服务器已安装JDK1.8以上版本和Intellij IDEA开发工具，下载jedis客户端（点此处下载jar包）。 本文档下载的开发工具和客户端仅为示例，您可以选择其它类型的工具和客户端。

方案概述 应用场景 随着互联网等数据库应用行业的逐渐发展，业务需求急速增加，数据量和并发访问量呈指数级增长，仅依附于传统关系型数据库难以支撑上层业务。传统数据库存在结构复杂、维护成本高、访问性能差、功能有限、无法轻松适应数据模型或模式的变化等问题。 解决方案 将Redis作为应用与数据库之间的缓存层可以解决上述问题，通过Redis缓存数据，提高数据读取速度，减轻数据库负载，提高应用性能，保证数据的可靠性。 因此，对于传统的关系型数据库例如MySQL，可以将其数据迁移到Redis中。Redis中的数据是以键值结构进行存储的，在迁移前需要将传统的数据库转换为特定的结构。本文以将MySQL数据库中的一张表迁移到华为云DCS Redis中为例，介绍数据迁移的过程。

方案概述 应用场景 游戏业务开合服，指一些大型网络游戏为了吸引新玩家，在运营一段时间后，会开启新服务区，当新服务区开放后，老服务区用户存在流向新服务区的趋势，用户数逐渐减少，为了改善老服务区用户的游戏体验，延长游戏生命周期，游戏开发商通常会进行新老服务区合并，将新开和原有的两个服务器（区）的数据合并到一个服务器（区），使新老玩家就能在同一个区进行游戏。在这个过程中，会遇到如何将不同服务器数据同步的相关问题。 解决方案 在游戏开合服方面，使用分布式缓存服务（DCS）的Redis缓存可以应用到以下场景： 跨服数据同步 游戏合服后，需要将多个游戏服务器的数据进行同步，以保证游戏数据的一致性。可以使用Redis的消息队列pub/sub机制，将数据变更消息发布到Redis的频道中，其他游戏服务器订阅该频道，接收数据变更消息，从而实现数据同步。 跨服资源共享 游戏合服后，可以将多个游戏服务器的资源进行共享，例如玩家道具、金币等。可以使用Redis的分布式锁机制，来保证多个游戏服务器对资源的访问互斥，避免资源冲突。 跨服排行榜 游戏合服后，可以将多个游戏服务器的排行榜进行合并，以展示全服的排名情况。可以使用Redis的有序集合机制，来存储排行榜数据，并进行排名计算和查询。 在以上三种应用场景中，“跨服资源共享”的实现方式可以参考使用DCS实现热点资源顺序访问，“跨服排行榜”的实现方式可以参考使用DCS实现排行榜功能。 本篇文档主要介绍如何通过Redis的消息队列pub/sub机制，实现“跨服数据同步”。 在使用Redis进行游戏合服方面的应用时，需要考虑数据一致性、性能和安全等方面的问题，避免出现数据错误、性能瓶颈或者安全漏洞等问题。

方案概述 应用场景 在传统单机部署的情况下，可以使用Java并发处理相关的API（如ReentrantLock或synchronized）进行互斥控制。这种Java提供的原生锁机制可以保证在同一个Java虚拟机进程内的多个线程同步执行，避免出现无序现象。 但在互联网场景，例如在商品秒杀过程中，随着客户业务量上升，整个系统并发飙升，需要多台机器并发运行。例如当两个用户同时发起的请求分别落在两个不同的机器上时，虽然这两个请求可以同时执行，但是因为两个机器运行在两个不同的Java虚拟机中，因此每个机器加的锁不是同一个锁，而不同的锁只对属于自己Java虚拟机中的线程有效，对其他Java虚拟机的线程无效。此时，Java提供的原生锁机制在多机部署场景下就会失效，出现库存超卖的现象。 解决方案 基于上述场景，需要保证两台机器加的锁是同一个锁，用加锁的方式对某种资源进行顺序访问控制。这就需要分布式锁登场了。 分布式锁的思路是：在整个系统提供一个全局的、唯一的分配锁的“东西”，当每个系统需要加锁时，都向其获取一把锁，使不同的系统获取到的内容可以认为是同一把锁。 当前分布式加锁主要有三种方式：（磁盘）数据库、缓存数据库、Zookeeper。 使用DCS服务中Redis缓存实例实现分布式加锁，有几大优势： 加锁操作简单，使用SET、GET、DEL等几条简单命令即可实现锁的获取和释放。 性能优越，缓存数据的读写优于磁盘数据库与Zookeeper。 可靠性强，DCS有主备和集群实例类型，避免单点故障。 对分布式应用加锁，能够避免出现库存超卖及无序访问等现象。本实践介绍如何使用Redis对分布式应用加锁。

前提条件 已创建DCS缓存实例，且状态为“运行中”。 客户端所在服务器与DCS缓存实例网络互通： 客户端与Redis实例所在VPC为同一VPC 同一VPC内网络默认互通。 客户端与Redis实例所在VPC为相同region下的不同VPC 如果客户端与Redis实例不在相同VPC中，可以通过建立VPC对等连接方式连通网络，具体请参考：缓存实例是否支持跨VPC访问？。 客户端与Redis实例所在VPC不在相同region 如果客户端服务器和Redis实例不在同一region，仅支持通过云专线打通网络，请参考云专线。 公网访问 客户端公网访问Redis 4.0/5.0/6.0实例时，需要开启实例公网访问开关，具体请参考开启Redis 4.0/5.0/6.0公网访问并获取公网访问地址。 客户端所在的服务器已安装JDK1.8以上版本和开发工具（本文档以安装Eclipse为例），下载jedis客户端（单击此处直接下载jar包）。 本文档下载的开发工具和客户端仅为示例，您可以选择其它类型的工具和客户端。

前提条件 已创建DCS缓存实例，且状态为“运行中”。 客户端所在服务器与DCS缓存实例网络互通： 客户端与Redis实例所在VPC为同一VPC 同一VPC内网络默认互通。 客户端与Redis实例所在VPC为相同region下的不同VPC 如果客户端与Redis实例不在相同VPC中，可以通过建立VPC对等连接方式连通网络，具体请参考：缓存实例是否支持跨VPC访问？。 客户端与Redis实例所在VPC不在相同region 如果客户端服务器和Redis实例不在同一region，仅支持通过云专线打通网络，请参考云专线。 公网访问 客户端公网访问Redis 4.0/5.0/6.0实例时，需要开启实例公网访问开关，具体请参考开启Redis 4.0/5.0/6.0公网访问并获取公网访问地址。

实施步骤 使用Redis-py库中的Redis()方法在每个游戏服务器上创建一个Redis客户端连接。 使用pubsub()方法在每个游戏服务器上创建一个Redis订阅者和发布者。用于订阅其他游戏服务器发布的消息，以及发布本地游戏服务器的数据更新消息。当某个游戏服务器需要更新数据时，它会将更新的消息发布到Redis消息队列中。其他游戏服务器会收到更新消息并相应地更新各自的本地数据。 定义一个publish_update()方法发布更新消息，并在listen_updates()方法中使用subscriber.listen()方法来监听更新消息。 当收到更新消息时，通过调用handle_update()方法来处理更新消息并更新本地数据。在游戏服务器中，通过调用publish_update()来发布更新消息，以及调用listen_updates()来监听更新消息。

实施步骤 在本地电脑中打开MobaXterm工具。 新建一个到ECS的SSH连接，使用22号端口。 图1 连接ECS SSH连接配置好后，输入登录用户和密码，连接上ECS。登录后输入TMOUT=0，避免连接超时自动关闭。 图2 输入TMOUT=0 在MobaXterm工具中找到MobaSSHtunnal，建立隧道。 图3 创建隧道 配置本地IP为127.0.0.1后，启动隧道。 图4 启动隧道 本地电脑打开Redis客户端，以Redis命令行界面为例。连接DCS缓存实例，命令如下： Redis-cli -h 127.0.0.1 -p 3306 -a {password} 参数说明： -h 主机名：localhost或者127.0.0.1，和隧道建立时配置的本地IP相同。 -p 端口号：3306，和隧道建立时配置的本地侦听端口相同。 -a 密码：DCS缓存实例连接密码。 连接成功，显示如下。 图5 连接实例