华为云用户手册

大Key和热Key的影响 类别 影响 大Key 造成规格变更失败。 Redis集群变更规格过程中会进行数据rebalance（节点间迁移数据），单个Key过大的时候会触发Redis内核对于单Key的迁移限制，造成数据迁移超时失败，Key越大失败的概率越高，大于512MB的Key可能会触发该问题。 造成数据迁移失败。 数据迁移过程中，如果一个大Key的元素过多，则会阻塞后续Key的迁移，后续Key的数据会放到迁移机的内存Buffer中，如果阻塞时间太久，则会导致迁移失败。 容易造成集群分片不均的情况。 各分片内存使用不均。例如某个分片占用内存较高甚至首先使用满，导致该分片Key被逐出，同时也会造成其他分片的资源浪费。 各分片的带宽使用不均。例如某个分片被频繁流控，其他分片则没有这种情况。 客户端执行命令的时延变大。 对大Key进行的慢操作会导致后续的命令被阻塞，从而导致一系列慢查询。 导致实例流控。 对大Key高频率的读会使得实例出方向带宽被打满，导致流控，产生大量命令超时或者慢查询，业务受损。 导致主备倒换。 对大Key执行危险的DEL操作可能会导致主节点长时间阻塞，从而导致主备倒换。 热Key 容易造成集群分片不均的情况。 造成热Key所在的分片有大量业务访问而同时其他的分片压力较低。这样不仅会容易产生单分片性能瓶颈，还会浪费其他分片的计算资源。 使得CPU冲高。 对热Key的大量操作可能会使得CPU冲高，如果表现在集群单分片中就可以明显地看到热Key所在的分片CPU使用率较高。这样会导致其他请求受到影响，产生慢查询，同时影响整体性能。业务量突增场景下甚至会导致主备切换。 易造成缓存击穿。 热Key的请求压力过大，超出Redis的承受能力易造成缓存击穿，即大量请求将被直接指向后端的数据库，导致数据库访问量激增甚至宕机，从而影响其他业务。 对于如何避免产生大Key和热Key，需要在业务设计阶段就考虑。参考Redis使用规范。

SDK使用规范 原则 原则说明 备注 使用连接池和长连接 短连接性能差，推荐使用带有连接池的客户端。 连接的频繁创建和销毁，会浪费大量的系统资源，极限情况会造成宿主机宕机。请确保使用了正确的Redis客户端连接池配置。 客户端需要对可能的故障和慢请求做容错处理 由于Redis服务可能因网络波动或基础设置故障的影响，引发主备倒换，命令超时或慢请求等现象，需要在客户端内设计合理的容错重试机制。 参考Redis客户端重试指南。 合理设置重试时间和次数 合理设置容错处理的重试时间，根据业务要求设置，避免过短或者过长。 如果超时重试时间设置的非常短（例如200毫秒以下），可能引发重试风暴，极易引发业务层雪崩。 如果重试时间设置得较长或者重试次数设置得较大，则可能导致在主备倒换情况下业务恢复较慢。 避免使用Lettuce客户端 Lettuce客户端在默认配置下有一定性能优势，并且是spring的默认客户端，但是Jedis客户端在面对连接异常，网络抖动等场景下的异常处理和检测能力明显强于Lettuce，可靠性更强，建议使用Jedis。 Lettuce存在几个方面的问题： Lettuce默认未配置集群拓补刷新的配置，会导致Cluster集群在发生拓补信息变化（主备倒换，扩容缩容）时，无法识别新的节点信息，导致业务失败。可参考使用Lettuce连接Cluster集群实例时的扩容异常处理。 Lettuce没有连接池校验的功能，无法检测连接池中的连接是否仍然有效，获取失效连接之后会导致业务失败，存在分钟级不可用的故障风险。

命令使用规范 原则 原则说明 备注 谨慎使用O(N)复杂度的命令 时间复杂度为O(N)的命令，需要特别注意N的值。避免N过大，造成Redis阻塞以及CPU使用率冲高。 例如：hgetall、lrange、smembers、zrange、sinter这些命令都是做全集操作，如果元素很多，会消耗大量CPU资源。可使用hscan、sscan、zscan这些分批扫描的命令替代。 禁用高危命令 禁止使用flushall、keys、hgetall等命令，或对命令进行重命名限制使用。 请参考命令重命名的内容。 慎重使用select Redis多数据库支持较弱，多业务用多数据库实际还是单线程处理，会有干扰。最好是拆分使用多个Redis。 - 使用批量操作提高效率 如果有批量操作，可使用mget、mset或pipeline，提高效率，但要注意控制一次批量操作的元素个数。 mget、mset和pipeline的区别如下： mget和mset是原子操作，pipeline是非原子操作。 pipeline可以打包不同的命令，mget和mset做不到。 使用pipeline，需要客户端和服务端同时支持。 避免在lua脚本中使用耗时代码 lua脚本的执行超时时间为5秒钟，建议不要在lua脚本中使用比较耗时的代码。 比如长时间的sleep、大的循环等语句。 避免在lua脚本中使用随机函数 调用lua脚本时，建议不要使用随机函数去指定key，否则在主备节点上执行结果不一致，从而导致主备节点数据不一致。 - 遵循集群实例使用lua的限制 遵循集群实例使用lua的限制。 使用EVAL和EVALSHA命令时，命令参数中必须带有至少1个key，否则客户端会提示“ERR eval/evalsha numkeys must be bigger than zero in redis cluster mode”的错误。 使用EVAL和EVALSHA命令时，D CS Redis集群实例使用第一个key来计算slot，用户代码需要保证操作的key是在同一个slot。 对mget，hmget等批量命令做并行和异步IO优化 某些客户端对于MGET，HMGET这些命令没有做特殊处理，串行执行再合并返回，效率较低，建议做并行优化。 例如Jedis对于MGET命令在集群中执行的场景就没有特殊优化，串行执行，比起lettuce中并行pipeline，异步IO的实现，性能差距可达到数十倍，该场景建议使用Jedis的客户端自行实现slot分组和pipeline的功能。 禁止使用del命令直接删除大Key 使用del命令直接删除大Key（主要是集合类型）会导致节点阻塞，影响后续请求 Redis 4.0后的版本可以通过UNLINK命令安全地删除大Key，该命令是异步非阻塞的。 对于Redis 4.0之前的版本： 如果是Hash类型的大Key，推荐使用hscan + hdel 如果是List类型的大Key，推荐使用ltrim 如果是Set类型的大Key，推荐使用sscan + srem 如果是SortedSet类型的大Key，推荐使用zscan + zrem

数据设计规范 分类 原则 原则说明 备注 Key相关规范 使用统一的命名规范。 一般使用业务名（或数据库名）为前缀，用冒号分隔。Key的名称保证语义清晰。 例如，业务名:子业务名:id 控制Key名称的长度。 在保证语义清晰的情况下，尽量减少Key的长度。有些常用单词可使用缩写，例如，user缩写为u，messages缩写为msg。 建议不要超过128字节（越短越好）。 禁止包含特殊字符（大括号“{}”除外）。 禁止包含特殊字符，如空格、换行、单双引号以及其他转义字符。 由于大括号“{}”为Redis的hash tag语义，如果使用的是集群实例，Key名称需要正确地使用大括号避免分片不均的情况。 Value相关规范 设计合理的Value大小。 设计合理的Key中Value的大小，推荐小于10 KB。 过大的Value会引发分片不均、热点Key、实例流量或CPU使用率冲高等问题，还可能导致变更规格和迁移失败。应从设计源头上避免此类问题带来的影响。 设计合理的Key中元素的数量。 对于集合和列表类的数据结构（例如Hash，Set，List等），避免其中包含过多元素，建议单Key中的元素不要超过5000个。 由于某些命令（例如HGETALL）的时间复杂度直接与Key中的元素数量相关。如果频繁执行时间复杂度为O(N)及以上的命令，且Key中的子Key数量过多容易引发慢请求、分片流量不均或热点Key问题。 选择合适的数据类型。 合理地选择数据结构能够节省内存和带宽。 例如存储用户的信息，可用使用多个key，使用set u:1:name "X"、set u:1:age 20存储，也可以使用hash数据结构，存储成1个key，设置用户属性时使用hmset一次设置多个，同时这样存储也能节省内存。 设置合理的过期时间。 合理设置Key的过期时间，将过期时间打散，避免大量Key在同一时间点过期。 设置过期时间时，可以在基础值上增减一个随机偏移值，避免在同一个时间点大量Key过期。大量Key过期会导致CPU使用率冲高。

运维管理规范 原则 原则说明 备注 生产开启密码保护 生产系统中需要开启Redis密码保护机制。 - 现网操作安全 禁止开发人员私自连到线上Redis服务。 - 验证业务的故障处理能力或容灾逻辑 在测试环境或者预生产环境中组织演练，验证在Redis主备倒换、宕机或者扩缩容场景下业务的可靠性。 主备倒换可以自行在页面上触发。强烈建议使用Lettuce客户端的应用进行相关的演练。 监控实践 关注Redis负载，在过载前提前扩容。 根据告警基线配置告警：配置节点cpu、内存、带宽等告警。 日常巡检 例行检查各个节点的内存使用率，查看主节点内存使用率是否有不均衡的状态。 内存使用率不均衡说明存在大Key问题，需要进行大Key拆分及优化。 开启热Key例行分析，并分析是否有Key频繁调用。 - 例行诊断Redis实例的命令，分析O(N)类命令是否存在隐患。 针对O(N)命令，即使耗时很小，建议开发分析业务增长，N是否会增长。 例行巡检Redis慢日志命令。 针对慢 日志分析 隐患，并尽快从业务上进行修复。

业务使用规范 原则 原则说明 备注 就近部署业务，避免时延过大 如果部署位置过远（非同一个region）或者时延较大（例如业务服务器与Redis实例通过公网连接），网络延迟将极大影响读写性能。 如果对于时延较为敏感，请避免创建跨AZ Redis实例。 冷热数据区分 建议将热数据加载到 Redis 中。低频数据可存储在 Mysql或者ElasticSearch中。 Redis将低频数据存入内存中，并不会加速访问，且占用Redis空间。 业务数据分离 避免多个业务共用一个Redis。 一方面避免业务相互影响，另一方面避免单实例膨胀，并能在故障时降低影响面，快速恢复。 禁止使用select功能在单Redis实例做多db区分。 Redis单实例内多DB隔离性较差，Redis开源社区已经不再发展多DB特性，后续不建议依赖该特性。 设置合理的内存淘汰（逐出）策略 合理设置淘汰策略，可以在Redis内存意外写满的时候，仍然正常提供服务。 DCS默认的逐出策略为volatile-lru，请根据业务需求选择。Redis支持的数据逐出策略 以缓存方式使用Redis Redis事务功能较弱，不建议过多使用。 事务执行完后，不可回滚。 数据异常的情况下，支持清空缓存进行数据恢复。 Redis本身没有保障数据强一致的机制和协议，业务不能强依赖Redis数据的准确性。 以缓存方式使用Redis时，所有的key需设置过期时间，不可把Redis作为数据库使用。 失效时间并非越长越好，需要根据业务性质进行设置。 防止缓存击穿 推荐搭配本地缓存使用Redis，对于热点数据建立本地缓存。本地缓存数据使用异步方式进行刷新。 - 防止缓存穿透 非关键路径透传数据库，建议对访问数据库进行限流。 - 从Redis获取数据未命中时，访问只读数据库实例。可通过 域名 等方式对接多个只读实例。 核心是未命中的缓存数据不会打到主库上。 用域名对接多个只读数据库实例，一旦出现问题，可以增加只读实例应急。 不用作消息队列 发布订阅场景下，不建议作为消息队列使用。 如没有非常特殊的需求，不建议将 Redis 当作消息队列使用。 Redis 当作消息队列使用，会有容量、网络、效率、功能方面的多种问题。 如需要消息队列，可使用高吞吐的Kafka或者高可靠的RocketMQ。 合理选择规格 如果业务增长会带来Redis请求增长，请选择集群实例（Proxy集群和Cluster集群） 单机和主备扩容只能实现内存、带宽的扩容，无法实现计算性能扩容。 生产实例需要选择主备或者集群实例，不能选用单机实例 - 主备实例，不建议使用过大的规格。 Redis在执行RewriteAOF和BGSAVE的时候，会fork一个进程，过大的内存会导致卡顿 具备降级或容灾措施 缓存访问失败时，具备降级措施，从DB获取数据；或者具备容灾措施，自动切换到另一个Redis使用。 -

方案概述 当前，华为云DCS的Redis 4.0及以上版本不支持绑定弹性IP，无法直接通过公网访问。本章节主要介绍通过ELB“跨VPC后端”方式公网访问单机、主备、读写分离、Proxy集群、Cluster集群单节点。 Cluster集群由于cluster nodes地址转换关系，只能进行单节点访问，无法进行集群访问。 不建议在生产环境中使用公网访问的方式，对于因公网网络性能造成的客户端访问异常不计入SLA。 通过ELB访问DCS流程如下图。 图1 ELB访问DCS流程图

引发Redis操作失败的场景 场景 说明 故障触发了主备倒换 因Redis底层硬件或其他原因导致主节点故障后，会触发主备倒换，保障实例仍可用，主备倒换会产生约15到30秒的实例连接中断。 变更实例规格过程中短暂只读 变更规格过程中可能会出现秒级的实例连接中断和分钟级的只读。 更多变更规格可能产生的影响，请参考变更规格。 慢查询引起了请求堵塞 执行时间复杂度为O(N)的操作，引发慢查询和请求的堵塞，此时，客户端发起的其他请求可能出现暂时性失败。 复杂的网络环境 由于客户端与Redis服务器之间复杂网络环境引起，可能出现偶发的网络抖动、数据重传等问题，此时，客户端发起的请求可能会出现暂时性失败。 复杂的硬件问题 由于客户端所在的硬件偶发性故障引起，例如虚拟机HA，磁盘时延抖动等场景，此时，客户端发起的请求可能会出现暂时性失败。

推荐的重试准则 重试准则 说明 仅重试幂等的操作 由于超时可能发生在下述任一阶段： 该命令由客户端发送成功，但尚未到达Redis。 命令到达Redis，但执行超时。 命令在Redis中执行结束，但结果返回给客户端时发生超时。 执行重试可能导致某个操作在Redis中被重复执行，因此不是所有操作均适合设计重试机制。通常推荐仅重试幂等的操作，例如SET操作，即多次执行SET a b命令，那么a的值只可能是b或执行失败；如果执行LPUSH mylist a则不是幂等的操作，可能导致mylist中包含多个a元素。 适当的重试次数与间隔 根据业务需求和实际场景调整适当的重试次数与间隔，否则可能引发下述问题： 如果重试次数不足或间隔太长，应用程序可能无法完成操作而导致失败。 如果重试次数过大或间隔过短，应用程序可能会占用过多的系统资源，且可能因请求过多而堵塞在服务器上无法恢复。 常见的重试间隔方式包括立即重试、固定时间重试、指数增加时间重试、随机时间重试等。 避免重试嵌套 重试嵌套可能导致重试时间被指数级放大。 记录重试异常并打印失败报告 在重试过程中，建议在WARN级别上打印重试错误日志，同时，仅在重试失败时打印异常信息。

关键参数配置建议 maxTotal设置建议 想合理设置maxTotal（最大连接数）需要考虑的因素较多，如： 业务希望的Redis并发量。 客户端执行命令时间。 Redis资源，例如Redis分片数。 maxTotal不能超过Redis的最大连接数（查看Redis的最大连接数请参考查看或修改实例最大连接数）。 资源开销，例如虽然希望控制空闲连接，但又不希望因为连接池中频繁地释放和创建连接造成不必要的开销。 假设一次命令时间，即borrow|return resource加上Jedis执行命令（含网络耗时）的平均耗时约为1ms，一个连接的QPS大约是1s/1ms = 1000，而业务期望的单个Redis的QPS是50000（业务总的QPS/Redis分片个数），那么理论上需要的资源池大小（即MaxTotal）是50000 / 1000 = 50。 但事实上在理论值基础上，还要预留一些资源，所以maxTotal可以比理论值大一些。这个值不是越大越好，一方面连接太多会占用客户端和服务端资源，另一方面对于Redis这种高QPS的服务器，如果出现大命令的阻塞，即使设置再大的资源池也无济于事。

JedisPool参数说明 Jedis连接是连接池中JedisPool管理的资源，JedisPool保证资源在一个可控范围内，并保障线程安全。使用合理的GenericObjectPoolConfig配置能够提升Redis的服务性能，降低资源开销。表1及表2提供了一些重要参数的说明及配置建议。 表1 资源设置与使用相关参数 参数 说明 默认值 建议 maxTotal 资源池中的最大连接数。 8 请参见关键参数配置建议。 maxIdle 资源池允许的最大空闲连接数。 8 请参见关键参数配置建议。 minIdle 资源池允许的最小空闲连接数。 0 请参见关键参数配置建议。 blockWhenExhausted 当资源池用尽后，调用者是否要等待。 true：等待。 false：不等待。 只有当值为true时，设置的maxWaitMillis才会生效。 true 建议使用默认值。 maxWaitMillis 当资源池连接用尽后，调用者的最大等待时间（单位：毫秒）。 值为-1表示一直等待。 -1 建议设置具体的最大等待时间。 testOnBorrow 向资源池借用连接时是否做连接有效性检测（ping）。检测到的无效连接将会被移除。 true：校验。 false：不校验。 false 业务量很大时候建议设置为false，减少一次ping的开销。 testOnReturn 向资源池归还连接时是否做连接有效性检测（ping）。检测到无效连接将会被移除。 true：校验。 false：不校验。 false 业务量很大时候建议设置为false，减少一次ping的开销。 jmxEnabled 是否开启JMX监控。 true：开启。 false：不开启。 true 建议开启，请注意应用本身也需要开启。 空闲Jedis对象检测由表2中的参数组合完成。 表2 空闲资源检测相关参数 名称 说明 默认值 建议 testWhileIdle 是否在空闲资源监测时通过ping命令监测连接有效性，无效连接将被销毁。 false true timeBetweenEvictionRunsMillis 空闲资源的检测周期（单位：毫秒）。 值为-1表示不检测。 -1 建议设置，周期自行选择，也可以默认也可以使用下方JedisPoolConfig 中的配置。 minEvictableIdleTimeMillis 资源池中资源的最小空闲时间（单位：毫秒），达到此值后空闲资源将被移除。 1,800,000（即30分钟） 可根据自身业务决定，一般默认值即可，也可以考虑使用下方JeidsPoolConfig中的配置。 numTestsPerEvictionRun 做空闲资源检测时，每次检测资源的个数。 3 可根据自身应用连接数进行微调，设置为-1时，表示对所有连接做空闲监测。 为了方便使用，Jedis提供了JedisPoolConfig，它继承了GenericObjectPoolConfig在空闲检测上的一些设置。 public class JedisPoolConfig extends GenericObjectPoolConfig { public JedisPoolConfig() { setTestWhileIdle(true); setMinEvictableIdleTimeMillis(60000); setTimeBetweenEvictionRunsMillis(30000); setNumTestsPerEvictionRun(-1); }} 可以在org.apache.commons.pool2.impl.BaseObjectPoolConfig中查看全部默认值。

约束与限制 Pipeline不能保证原子性。 Pipeline模式只是将客户端发送命令的方式改为批量发送命令，而服务端在批量处理命令的数据流时，仍然是解析出多个单命令并按顺序执行，各个命令相互独立，即服务端仍有可能在该过程中执行其他客户端的命令。如需保证原子性，请使用事务或Lua脚本。 若Pipeline执行过程中发生错误，不支持回滚。 Pipeline没有事务的特性，如待执行的命令前后存在依赖关系，请勿使用Pipeline。 如果某些客户端（例如redis-py）在实现Pipeline时使用事务命令MULTI、EXEC进行伪装，请您在使用过程中关注Pipeline与事务的区别，否则可能会产生报错，关于事务的限制请参见Redis transactions。

方案概述 分布式缓存服务Redis支持原生Redis的Pipeline（管道传输）机制，通过Pipeline机制可以将多个命令同时发给Redis服务端，减少网络延迟，提高性能。 通常在非Pipeline的模式下，Redis客户端（Client）向Redis发送一个命令后，会等待服务端（Server）返回结果，然后再发送下一个命令，以此类推。但在Pipeline模式下，客户端发送一个命令后无需等待服务端返回执行结果，会继续发送其他命令。在全部命令发送完毕后，客户端关闭请求，开始接收响应，把收到的执行结果与之前发送的命令按顺序进行匹配。 图1 非Pipeline模式与Pipeline模式的网络通信示意图 在Pipeline模式的具体实现中，大部分Redis客户端采用批量处理的方式，即一次发送多个命令，在接收完所有命令执行结果后再返回给上层业务。通过Pipeline模式可降低网络往返时延（Round-trip time，简称RTT），减少read()和write()的系统调用和进程切换次数，从而提升程序的执行效率与性能。 因此，在需要执行Redis批量操作，且用户无需立即获得每个操作结果的场景下，可以使用Pipeline作为优化性能的批处理工具。 使用Pipeline时客户端将独占与服务器端的连接，此期间将不能进行其他“非Pipeline”的操作，直至Pipeline被关闭。如果需要同时执行其他操作，可以为Pipeline操作单独建立一个连接，将其与常规非Pipeline操作分开。 关于Pipeline的更多介绍，请参见Redis pipeline。

DCS最佳实践汇总 本文汇总了基于分布式缓存服务DCS常见应用场景的操作实践，为每个实践提供详细的方案描述和操作指导，帮助用户轻松使用DCS。 表1 DCS最佳实践一览表 最佳实践 说明 使用DCS实现热点资源顺序访问 该实践介绍如何使用Redis对分布式应用加锁。通过加锁对热点资源进行顺序访问控制，避免在互联网商品秒杀场景出现库存超卖及无序访问等现象。 使用DCS实现排行榜功能 本章节介绍如何使用DCS Redis实现商品热销排行榜的功能。 使用DCS实现 视频直播 弹幕和社交网站评论的功能 本章节介绍如何使用DCS Redis缓存从不同的维度，对某个key-value的列表进行降序显示，应用于视频直播弹幕和社交网站评论的场景。 使用DCS实现游戏开合服的数据同步 在游戏开合服过程中，会遇到如何将不同服务器数据同步的问题。通过DCS服务Redis的消息队列pub/sub机制，可以将数据变更消息发布到Redis的频道中，其他游戏服务器订阅该频道，接收数据变更消息，从而实现数据同步。该实践介绍如何使用Redis实现不同服务器数据同步。 使用DCS实现电商秒杀功能 本章节介绍在电商秒杀场景中，利用DCS Redis作为数据库的缓存，客户端通过访问Redis进行库存查询和下单操作，以满足电商秒杀系统高并发的需求。 使用DCS改造传统应用系统数据库 本章节以将MySQL数据库中的一张表迁移到华为云DCS Redis中为例，介绍数据迁移的过程。 升级Redis 3.0实例到高版本实例 Redis 3.0版本较老，开源社区已不再对其进行更新，DCS提供的Redis 4.0及以上版本兼容Redis 3.0，建议客户尽快将DCS Redis 3.0升级到高版本。本章节介绍如何通过数据迁移+交换实例IP的方式升级Redis 3.0实例到高版本。 使用Nginx实现公网访问DCS 华为云DCS的Redis 4.0及以上版本不支持绑定弹性IP，无法直接通过公网访问。本章节主要介绍通过跳板机访问VPC内Redis 4.0/5.0/6.0单机、主备、读写分离、Proxy集群实例的操作，Cluster集群实例暂不支持使用该方案进行公网访问。 使用SSH隧道代理实现公网访问DCS 华为云DCS的Redis 4.0及以上版本不支持绑定弹性IP，无法直接通过公网访问。本章节主要介绍通过SSH工具的隧道代理机制，通过一台既能连接DCS缓存实例，又能被本地电脑访问的中转服务器，实现“代理转发”，从而访问VPC内Redis单机、主备、读写分离、Proxy集群实例。Cluster集群实例暂不支持使用该方案进行公网访问。 使用华为云ELB公网访问DCS 华为云DCS的Redis 4.0及以上版本不支持绑定弹性IP，无法直接通过公网访问。本章节主要介绍通过ELB“跨VPC后端”方式公网访问单机、主备、读写分离、Proxy集群、Cluster集群单节点。 客户端通过CCE连接DCS 随着容器技术的普及，越来越多的应用程序部署在容器环境中。该实践介绍如何将Redis客户端部署到云容器引擎CCE的集群容器中，通过CCE连接DCS。 配置Redis客户端重试机制 本章节介绍Jedis客户端的重试配置， 通过设计完备的自动重试机制可以大幅降低基础设施或运行环境故障带来的影响。 DCS数据安全 本文提供了使用DCS过程中的安全最佳实践，旨在为提高整体安全能力，提供可操作的规范性指导。 DCS使用规范 本章节介绍DCS Redis在业务使用、数据设计、命令使用、SDK使用和运维管理方面的使用建议。 发现和处理Redis大Key热Key 本章节介绍在使用DCS Redis过程中，如何发现和优化大Key和热Key等问题。 配置Redis Pipeline DCS Redis支持原生Redis的Pipeline（管道传输）机制，本章节介绍关于Redis Pipeline的使用。 优化Jedis连接池 JedisPool是Jedis客户端的连接池，合理设置JedisPool资源池参数能够有效地提升Redis性能与资源利用率。本文档将对JedisPool的使用和资源池的参数配置提供详细的说明和配置建议。

单机实例特点 系统资源消耗低，支持高QPS 单机实例不涉及数据同步、数据持久化所需消耗的系统开销，因此能够支撑更高的并发。Redis单机实例QPS达到10万以上。 进程监控，故障后自动恢复 DCS部署了业务高可用探测，单机实例故障后，30秒内会重启一个新的进程，恢复业务。 即开即用，数据不做持久化 单机实例开启后不涉及数据加载，即开即用。如果服务QPS较高，可以考虑进行数据预热，避免给后端数据库产生较大的并发冲击。 低成本，适用于开发测试 单机实例各种规格的成本相对主备减少40%以上。适用于开发、测试环境搭建。 总体说来，单机实例支持读写高并发，但不做持久化，实例重启时不保存原有数据。单机实例主要服务于数据不需要由缓存实例做持久化的业务场景，如数据库前端缓存，用以提升数据读取效率，减轻后端并发压力。当缓存中查询不到数据，可穿透至磁盘数据库中获取，同时，重启服务/缓存实例时，可从磁盘数据库中获取数据进行预热，降低后端服务在启动初期的压力。

实例架构设计 DCS的Redis单机实例架构，如图1所示。 Redis 3.0和Redis 6.0企业版实例不支持定义端口，端口固定为6379，Redis 4.0/5.0/6.0基础版实例支持自定义端口，如果不自定义端口，则使用默认端口6379。以下图中以默认端口6379为例，如果已自定义端口，请根据实际情况替换。 图1 Redis单机实例示意图 示意图说明： VPC 虚拟私有云。实例的内部所有服务器节点，都运行在相同VPC中。 客户应用 运行在ECS上的客户应用程序，即实例的客户端。 Redis实例兼容开源协议，可直接使用开源客户端进行连接，关于多语言客户端连接示例，请参考用户指南的连接缓存实例。 DCS缓存实例 DCS实例，单机实例只有1个节点，1个Redis进程。 DCS实时探测实例可用性，当Redis进程故障后，DCS为实例重新拉起一个新的Redis进程，且该操作秒级完成，恢复业务。

资源规划 类别 子类 规划 备注 VPC VPC名称 vpc-src-172 自定义，易理解可识别。 所属Region 测试Region 现网实际选择时建议选择和自己业务区最近的Region，减少网络时延。 可用区 可用区3 - 子网网段 172.16.0.0/16 子网选择时建议预留足够的网络资源。 子网名称 subnet-src-172 自定义，易理解可识别。 本地Oracle数据库 名称 orcl 自定义，易理解可识别。 规格 16vCPUs | 32GB - 数据库版本 11.2.0.1 - 数据库用户 ugo 可以自定义用户，但是迁移时最小权限为：CONNECT、SELECT_CATA LOG _ROLE、ANY DICTIONARY GaussDB 实例名 Auto-ugo-gaussdbv5-tar-1 自定义，易理解可识别。 数据库版本 GaussDB 2.7企业版 - 实例类型 分布式版，1CN，3DN，3副本 本示例中为分布式实例。 存储类型 超高IO - 可用区 可用区3 本示例中选择了单可用区，实际建议选择多可用区，以提高实例的高可用性。 规格 通用性 2 vCPUs | 16GB 本示例中为测试实例，选择较小的测试规格，实际选择规格以业务诉求为准。 目标库名称 ugo 自定义，易理解可识别，但是需要确保兼容模式为Oracle模式。 UGO迁移任务 数据库评估任务名 Oracle-GaussDB 自定义。 对象迁移 Oracle-GaussDB 自定义。 源数据库引擎 Oracle-11g - 目标数据库引擎 GaussDB Distributed - 2.7 - 网络类型 公网网络 本示例中采用公网网络。 父主题： Oracle结构迁移到GaussDB

约束限制 审核对象仅支持：Table、View、Sequence、Index、Function、Procedure、Trigger、Package。 一次审核Schema的数量不超过10000。 审核数据库过程中，避免对正在审核的数据库对象进行删除等操作，影响审核结果。 如果使用系统模板进行审核时，新版本升级结束后，再次重试或者同数据源审核，会导致审核结果不一致。为避免此现象发生，建议使用自定义模板。

约束限制 规则的嵌套审核仅支持四种语法，详情可参见表1。 别名不能和实体表重名，且别名之间不能重名。 不支持审核视图中的表。 不支持审核数据库系统表及系统视图。 不支持审核含有“#”的MySQL语句。 文件审核中和审核完成后，将无法“重试”该任务。 如果使用系统模板进行审核时，新版本升级结束后，再次重试或者同文件审核，会导致审核结果不一致。为避免此现象发生，建议使用自定义模板。 SQL审核最大可以创建110个审核任务，最多支持10个审核任务并发执行。

约束限制 规则的嵌套审核仅支持四种语法，详情可参见表1。 With as只支持SELECT语句。 别名不能和实体表重名，且别名之间不能重名。 不支持审核视图中的表审核。 不支持审核数据库系统表及系统视图审核。 不支持审核含有“#”的MySQL语句。 表1 支持的嵌套审核语句 序号 SQL语句 1 select id, (select 子查询) as name from table; 2 select id from table where id in (select 子查询); 3 select * from table1,(select 子查询); 4 with e as (select 子查询) select * from e;

规则约束 所有涉及update、delete的规则项，均不支持多表操作审核。 update、delete多表操作仅支持规则项：“不应用单条update、delete语句对多个表实现更新、删除操作”。 对于“在PL/pgSQL中，关键字建议大写，非关键字小写”、“sql语句中，关键字建议大写，非关键字小写”规则项，不要在以对象名作为非保留关键字的语句中使用，存在审核不准确情况，比如：SELECT ID FROM name，name是非保留关键字。 对于规则“对分区表执行交换分区、合并分区、分隔分区、清空分区、删除分区时，必须同步更新全局索引”，在用户修改数据库系统参数enable_gpi_auto_update后，该规则可能失效，请在数据库侧清理session，可登录到数据库中执行： CLEAN CONNECTION TO ALL FORCE FOR DATABASE db_name; “查询系统视图时，如果使用对象名作为筛选条件，对象名应使用小写”支持的系统视图参见表2。 “谨慎删除数据库对象及清理数据”，其中阈值中支持审核SQL语法见表表3 表2 视图审核 视图名 所属schema 表示对象名的列 adm_arguments pg_catalog、sys owner、object_name、package_name、argument_name adm_audit_object pg_catalog、sys username、owner、obj_name、action_name adm_audit_session pg_catalog、sys username、action_name adm_audit_statement pg_catalog、sys username、obj_name、action_name adm_col_comments pg_catalog、sys owner、table_name、column_name、schema adm_col_privs pg_catalog、sys grantor、owner、grantee、table_schema、table_name、column_name、privilege adm_coll_types pg_catalog、sys owner、type_name、elem_type_mod、elem_type_owner、elem_type_name adm_constraints pg_catalog、sys owner、constraint_name、table_name、index_owner、index_name adm_indexes pg_catalog、sys owner、index_name、table_name、table_owner、tablespace_name adm_ind_columns pg_catalog、sys index_owner、index_name、table_name、table_owner、column_name adm_objects pg_catalog、sys owner、object_name、subobject_name adm_procedures pg_catalog、sys owner、object_name、procedure_name、impltypeowner、impltypename adm_role_privs pg_catalog、sys grantee、granted_role adm_tab_col_statistics pg_catalog、sys owner、table_name、column_name、schema adm_roles pg_catalog、sys role adm_source pg_catalog、sys owner、name adm_sys_privs pg_catalog、sys grantee、privilege adm_tab_cols pg_catalog、sys owner、table_name、column_name、data_type_owner、schema、qualified_col_name adm_tab_privs pg_catalog、sys grantee、owner、table_name、grantor、privilege adm_tables pg_catalog、sys owner、table_name、tablespace_name adm_tab_columns pg_catalog、sys owner、table_name、column_name、data_type_owner、schema adm_tab_comments pg_catalog、sys owner、table_name、column_name、schema adm_tab_statistics pg_catalog、sys owner、table_name adm_triggers pg_catalog、sys owner、trigger_name、table_owner、table_name adm_type_attrs pg_catalog、sys type_name、attr_name、attr_type_name、character_set_name adm_types pg_catalog、sys owner、type_name adm_users pg_catalog、sys username、default_tablespace、temporary_tablespace、default_collation adm_views pg_catalog、sys owner、view_name db_all_tables pg_catalog、sys owner、table_name、tablespace_name db_arguments pg_catalog、sys owner、object_name、package_name、argument_name db_col_comments pg_catalog、sys owner、table_name、column_name、schema db_col_privs pg_catalog、sys grantor、owner、grantee、table_schema、table_name、column_name、privilege db_coll_types pg_catalog、sys owner、type_name、elem_type_mod、elem_type_owner、elem_type_name db_constraints pg_catalog、sys owner、constraint_name、table_name、index_owner、index_name db_indexes pg_catalog、sys owner、index_name、table_name、table_owner、tablespace_name db_ind_columns pg_catalog、sys index_owner、index_name、table_name、table_owner、column_name db_objects pg_catalog、sys owner、object_name、subobject_name db_procedures pg_catalog、sys owner、object_name db_tab_col_statistics pg_catalog、sys owner、table_name、column_name、schema db_source pg_catalog、sys owner、name db_tab_columns pg_catalog、sys owner、table_name、column_name、data_type_owner、schema db_tab_comments pg_catalog、sys owner、table_name、schema db_tables pg_catalog、sys owner、table_name、tablespace_name db_triggers pg_catalog、sys trigger_name、table_owner、table_name db_types pg_catalog、sys owner、type_name db_users pg_catalog、sys username db_views pg_catalog、sys owner、view_name dict pg_catalog、sys table_name dictionary pg_catalog、sys table_name my_col_comments pg_catalog、sys owner、table_name、column_name、schema my_col_privs pg_catalog、sys grantor、owner、grantee、table_schema、table_name、column_name、privilege my_coll_types pg_catalog、sys owner、type_name、elem_type_mod、elem_type_owner、elem_type_name my_constraints pg_catalog、sys owner、constraint_name、table_name、index_owner、index_name my_indexes pg_catalog、sys owner、index_name、table_name、table_owner、tablespace_name my_ind_columns pg_catalog、sys index_owner、index_name、table_name、table_owner、column_name my_objects pg_catalog、sys object_name、subobject_name my_procedures pg_catalog、sys owner、object_name、procedure_name、impltypeowner、impltypename my_role_privs pg_catalog、sys grantee、granted_role my_tab_col_statistics pg_catalog、sys table_name、column_name、schema my_source pg_catalog、sys owner、name my_tab_columns pg_catalog、sys owner、table_name、column_name、data_type_owner、schema my_tab_comments pg_catalog、sys owner、table_name、column_name、schema my_tab_statistics pg_catalog、sys table_name my_tables pg_catalog、sys owner、table_name、tablespace_name my_triggers pg_catalog、sys owner、trigger_name、table_owner、table_name my_type_attrs pg_catalog、sys type_name、attr_name、attr_type_name、character_set_name my_types pg_catalog、sys type_name my_views pg_catalog、sys owner、view_name pg_indexes pg_catalog、sys schemaname、tablename、indexname、tablespace pg_roles pg_catalog、sys rolename pg_tables pg_catalog、sys schemaname、tablename、tableowner、tablespace、tablecreator pg_user pg_catalog、sys username、nodegroup pg_views pg_catalog、sys schemaname、viewname、viewowner column_privileges information_schema、sys grantor、grantee、table_catalog、table_schema、table_name、column_name columns information_schema、sys table_catalog、table_schema、table_name、column_name constraint_column_usage information_schema、sys table_catalog、table_schema、table_name、column_name、constraint_catalog、constraint_schema、constraint_name constraint_table_usage information_schema、sys table_catalog、table_schema、table_name、constraint_catalog、constraint_schema、constraint_name enabled_roles information_schema、sys role_name schemata information_schema、sys catalog_name、schema_name、schema_owner、default_character_set_catalog、default_character_set_schema、default_character_set_name table_constraints information_schema、sys constraint_catalog、constraint_schema、constraint_name、table_catalog、table_schema、table_name table_privileges information_schema、sys grantor、grantee、table_catalog、table_schema、table_name tables information_schema、sys table_catalog、table_schema、table_name、self_referencing_column_name、user_defined_type_catalog、user_defined_type_schema、user_defined_type_name triggers information_schema、sys trigger_catalog、trigger_schema、trigger_name、event_object_catalog、event_object_schema、event_object_table、action_reference_old_table、action_reference_new_table usage_privileges information_schema、sys grantor、grantee、object_catalog、object_schema、object_name views information_schema、sys table_catalog、table_schema、table_name 表3 支持审核的SQL语法 DDL类型 SQL语法 DROP DROP TABLE, DROP TABLESPACE, DROP AGGREGATE, DROP AUDIT POLICY, DROP CAST, DROP DATABASE, DROP DATA SOURCE, DROP DIRECTORY, DROP EVENT, DROP FOREIGN TABLE, DROP GLOBAL CONFIGURATION, DROP GROUP, DROP MASKING POLICY, DROP MATERIALIZED VIEW, DROP MODEL, DROP OPERATOR, DROP OWNED, DROP PACKAGE, DROP PACKAGE BODY, DROP PROCEDURE, DROP RESOURCE LABEL, DROP RESOURCE POOL, DROP ROLE, DROP ROW LEVEL SECURITY POLICY, DROP RULE, DROP PUBLICATION, DROP SCHEMA, DROP SEQUENCE, DROP FUNCTION, DROP SERVER, DROP SUBSCRIPTION, DROP SYNONYM, DROP TEXT SEARCH CONFIGURATION, DROP TEXT SEARCH DICTIONARY, DROP TRIGGER, DROP TYPE, DROP USER, DROP USER MAPPING, DROP VIEW, DROP WEAK PASSWORD DICTIONARY ALTER ALTER DROP PARTITION, ALTER TRUNCATE PARTITION, ALTER DROP COLUMN, ALTER DROP CONSTRAINT, ALTER DROP FOREIGN TABLE, ALTER DROP AUDIT POLICY, ALTER DROP MASKING POLICY, ALTER DROP SERVER, ALTER DROP TEXT SEARCH CONFIGURATION, ALTER DROP USER MAPPING, ALTER DROP DATA SOURCE TRUNCATE TRUNCATE

操作步骤 登录UGO控制台。 单击左侧导航栏的“数据源管理”。 在数据源管理页面，单击右上角的“创建数据源”按钮。 进入创建数据源页面，完成基本信息的填写。 基本信息填写完成后，“开始测试”高亮显示。 图1 创建数据源 表1 创建数据源参数说明 参数名称 说明 名称 在数据源管理列表中显示的名称。 由字母、数字、_、-组成，长度是5-50个字符，不区分大小写且必须以字母开头、数字或字母结束的唯一的项目名称。 数据库类型 下拉选择待创建的数据库类型。当前仅支持GaussDB和MySQL。 网络类型 公网网络：通过弹性公网IP（Elastic IP，EIP）进行数据库连接。 如果数据库网络有IP白名单限制，请将弹性公网IP添加至数据库网络白名单，确保UGO可以连接。 连接方法 仅支持通过服务名称进行连接。 数据库名称 待进行管理的数据库名称。 请输入由字母、数字、.、_、-、$、#组成，长度是2-128个字符，必须以字母、数字、.、_、-开头且允许使用"包裹的名称。 主机类型 当前仅支持主机IP地址。 主机IP地址 填写具体主机IP地址，IP地址格式支持IPv4和IPv6。 说明： 支持IPv6数据库如下：MySQL。 主机端口 待进行管理的数据库端口。 用户名 待进行管理的数据库用户名。 由字母、数字、“_”、“-”、“$”、“#”组成，长度为2-128个字符，必须以字母、数字、“.”、“_”、“-”开头且允许使用双引号包裹的用户名。 密码 待进行管理的数据库密码。 密码最多支持50个字符。 单击“开始测试”，测试通过显示“已连接”，右下角“创建”高亮显示。 当前仅测试连通性，若断连或权限不足，会导致“连接数据库失败”，无法创建数据源。 单击创建。显示“项目创建成功”。 单击“确定”，返回数据源管理页面，用户可以看到最新创建的数据源已在列表中。 可通过数据源ID、名称、数据库名称、数据库类型、IP地址及端口信息进行搜索。 图2 数据源管理

SQL审核 SQL审核功能能够帮助用户在开发阶段发现隐藏在代码中的SQL规范性、设计合理性和性能等问题，内置200多条审核规则，覆盖DML、DDL、PL/SQL等各类SQL的深度审核，且支持规则内风险级别、阈值及建议内容的调整，和规则间的自由组合创建定制化审核模板。支持GaussDB、MySQL两种数据库的审核，可通过单语句、批量代码文件上传（自动提取SQL）、直连数据库，共3种方式接入SQL进行审核，深度看护代码，避免烂SQL流入生产环境。 步骤一：创建数据源 步骤二：创建规则模板 步骤三：创建审核任务

操作场景 创建迁移项目创建完成后，启动迁移项目，选择需要迁移对象，根据迁移风险项配置转换方案，启动语法转后，UGO服务会将源库的SQL语法一键转换成目标库语法，转换失败的语法支持手工进行校正，修改完成后，迁移验证阶段，在目标数据库执行，完成源库对象到目标库的迁移，查看迁移进度和详情来确认迁移结果。 数据库迁移验证为五个步骤： 步骤一：选择对象迁移。 步骤二：配置转换方案。 步骤三：启动语法转换。 步骤四：校正转换失败对象。 步骤五：对象迁移验证。

启动语法转换 单击“下一步”，进入语法转换界面。 单击“启动”，进行语法的转换。 图4 语法转换 转换完成后页面显示对象类型、总数、转换成功、转换失败等信息以及转换开始时间与结束时间。 页面以进度条和百分比显示迁移进度。 再次单击“启动”，将再次进行语法转换，会覆盖上一次转换的全部转换数据，包含手工修改的对象，请谨慎操作。如确需重新转换，单击“确认”。 语法转化完成后，可查看语法转化历史记录和转化详情，可参考查看语法转换历史详情。 若语法转化完成，需要修改转换方案，可参考配置转换方案重新配置。 语法转换失败，需要进行手工修改，可参考校正转换失败对象。

对象迁移验证 单击“下一步”，进入迁移验证界面。默认显示“迁移”页签界面。 图8 迁移 单击“迁移验证配置”，可以对迁移过程中的迁移行为进行详细设置。 显示迁移项目的详细信息，包括对象类型、总数、迁移成功、迁移失败、剩余量等信息。当在“迁移验证配置”中设置了不迁移转换失败对象时，还会展示“转换失败不迁移”信息。 单击操作列“详情”，跳转至“对象校正”界面，可以查看迁移详情，语法转换等情况。 单击“启动”开始进行迁移验证，开始将对象迁移至目标数据库中。 迁移成功：可登录目标库查看迁移对象，也可以查看步骤3。 迁移失败：单击失败对象后的“详情”，跳转至校正转换失败对象，重新进行对象的手工校正。 迁移完成后，单击“迁移历史”，查看迁移详情。 以倒序显示已经迁移过项目的详细信息，包括序号、总数、迁移成功、迁移失败等。可以查看“详情”。 单击“详情”，显示对象类型、总数、迁移成功、迁移失败等信息。可以查看各对象类型的详细信息。 单击对象类型后的“详情”，显示Schema、对象名称、对象类型、迁移状态等信息。可以依据具体对象名称搜索，也可以查看各Schema的详细信息。

前提条件 用户需拥有创建UGO迁移项目的对应权限。具体权限，可参见权限管理进行设置。 创建迁移项目至少需要一个状态显示为“完成 创建迁移项目”的数据库评估项目。 待使用的目标数据库类型及版本信息要与评估项目确认的目标库类型及版本一致。 待连接的目标库正常，无欠费、停机等情况。 确保提供的目标数据库可正常访问，且连接用户需要具有对于Schema、表、程序、索引、用户、函数、视图等迁移对象的创建、删除和更改的权限。具体可查看权限检查报告。

网络准备 源数据库与UGO服务的网络是否打通，目前UGO连接源库仅支持公网连接。 源数据库的防火墙需要放通UGO服务的访问，使得UGO可以正常访问本地数据库。 源数据库的访问白名单限制是否对UGO服务放行，各类型数据库添加白名单的方法不同，具体方法请参考各数据库官方文档进行操作。 源数据库设置的最大连接数限制，各类型数据库最大连接数控制的参数和修改方法不同，具体方法请参考各数据库官方文档进行操作。 检查数据库连接信息是否正确，包括提供的IP地址、数据库服务名称、用户名、密码等信息。

认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构（ISO/SOC/PCI等）的安全合规认证，用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求，具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另外，华为云还提供了以下销售许可证及软件著作权证书，供用户下载和参考。具体请查看合规资质证书。 图3 销售许可证&软件著作权证书 父主题： 安全

服务韧性 COC服务提供了3级可靠性架构，通过AZ内（Availability Zone，可用区）实例容灾、多AZ容灾、数据定期备份技术方案，保障服务的持久性和可靠性。 表1 COC服务可靠性架构 可靠性方案 简要说明 AZ内实例容灾 单AZ内，COC实例通过多实例方式实现实例容灾，快速剔除故障节点，保障COC实例持续提供服务。 多AZ容灾 COC支持跨AZ容灾，当一个AZ异常时，不影响COC实例持续提供服务。 数据容灾 通过数据定期备份方式实现数据容灾。 父主题： 安全