华为云用户手册

约束与限制 按需计费云数据库绑定的资源（弹性公网IP）可能不支持随实例同步变更计费模式，请参考表1查看绑定资源的计费规则及处理措施。 表1 弹性公网IP计费模式变更规则 资源 计费模式 计费方式 带宽类型 是否支持随GeminiDB Cassandra按需转包年/包月 处理措施 弹性公网IP 按需计费 按带宽计费 独享带宽 是 在控制台的弹性公网IP页面进行按需转包年/包月操作。 详细内容，请参见变更弹性公网IP计费方式。 弹性公网IP 按需计费 按流量计费 独享带宽 否 按需、按流量计费EIP不支持直接转为包年/包月EIP。变更方法如下： 先转为按需、按带宽计费的EIP。 再由按需、按带宽计费EIP转为包年/包月EIP。 详细内容，请参见变更弹性公网IP计费方式。

使用须知 可维护时间段目前处于公测状态，如果您想使用，请联系客服开通。 目前只有实例重启、规格变更和补丁升级支持可维护时间段。 已经选择可维护时间段的规格变更和补丁升级，不能再立即执行；实例重启可以立即执行。 您可以取消待执行的任务。 修改可维护时间段，不影响原有可维护时间段内定时任务的执行时间。 可维护时间段不要和备份的时间冲突，否则可能会导致定时任务失败。 在可维护时间段内，定时任务10分钟扫描一次，执行任务；临近可维护时间段结束时下发的任务，有可能扫描不到，取消执行。

使用须知 手动备份为全量备份。 备份过程中，备份文件会被上传到OBS桶中，最终以压缩包的形式存储在OBS桶中。在此过程中，由于备份文件上传和业务读取带宽存在一定的竞争关系，所以对OBS的上传带宽进行了相应的限流，单节点最大的上传带宽范围在20MB/s~70MB/s。 因此在选择实例节点数量时，一般也要考虑备份的带宽限制，选择合适的节点数量，以达到更好的性能。 备份上传过程中会消耗一定的CPU，因此会存在CPU上涨的现象，一般涨幅范围在5%~15%，该现象属于正常现象。 备份上传的过程中，内存增长并不明显。一般在300MB左右，实际内存的增长量和实例数据量大小有关。这部分增长的内存主要是备份上传和读取时进行的少量缓存，备份上传结束后内存会恢复正常。

使用须知 磁盘容量变更目前既支持扩容，也支持缩容。 缩容场景下，待变更到的磁盘容量必须大于已用量的125%，向上取整。 扩容磁盘无需重启实例，在此期间，服务不中断，不影响您正常使用数据库。 缩容磁盘也无需重启实例，在此期间，服务不中断，不影响您正常使用数据库。 磁盘满容量后，允许继续写入，针对包周期实例，超出的部分将按需计费，推荐进行扩容磁盘，享受包周期优惠政策。 存储详情支持在“实例管理”页面显示，您可以联系客服进行开通。

使用须知 默认情况下，一个租户可以创建500条安全组规则。 为一个安全组设置过多的安全组规则会增加首包延时，因此，建议一个安全组内的安全组规则不超过50条。 目前一个GeminiDB Cassandra实例仅允许绑定一个安全组。 内网和公网连接实例时，需要配置的安全组规则请参见表1。 表1 安全组规则说明 场景 配置的安全组规则说明 内网连接实例 使用内网连接GeminiDB Cassandra实例时，设置安全组规则分为以下两种情况： E CS 与GeminiDB Cassandra实例在相同安全组时，默认ECS与GeminiDB Cassandra实例互通，无需设置安全组规则。 ECS与GeminiDB Cassandra实例在不同安全组时，需要为GeminiDB Cassandra和ECS分别设置安全组规则。 设置GeminiDB Cassandra安全组规则：为GeminiDB Cassandra所在安全组配置相应的入方向规则，具体操作请参见操作步骤。 设置ECS安全组规则：安全组默认规则为出方向上数据报文全部放行，此时，无需对ECS配置安全组规则。当在ECS所在安全组为非默认安全组且出方向规则非全放通时，需要为ECS所在安全组配置相应的出方向规则。具体操作请参见《弹性云服务器用户指南》中“设置安全组规则”章节。 公网连接实例 使用公网连接GeminiDB Cassandra实例时，需要为GeminiDB Cassandra所在安全组配置相应的入方向规则。具体操作请参见操作步骤。

约束与限制 包年/包月的云数据库绑定的资源（弹性公网IP）可能不支持随云数据库同步变更计费模式，请参考表1查看绑定资源的计费规则及处理措施。 表1 弹性公网IP计费模式变更规则 资源 计费模式 计费方式 带宽类型 是否支持随GeminiDB Cassandra包年/包月转按需 处理措施 弹性公网IP 包年/包月 按带宽计费 独享带宽 否 在控制台的弹性公网IP页面进行按需转包年/包月操作。 详细内容，请参见变更弹性公网IP计费方式。 弹性公网IP 包年/包月 按流量计费 独享带宽 否 包年/包月EIP不支持直接转为按需、按流量计费EIP。变更方法如下： 先转为按需、按带宽计费EIP。 再由按需、按带宽计费EIP转为按需、按流量计费EIP。 详细内容，请参见变更弹性公网IP计费方式。

使用须知 备份过程中，备份文件会被上传到OBS桶中，最终以压缩包的形式存储在OBS桶中。在此过程中，由于备份文件上传和业务读取带宽存在一定的竞争关系，所以对OBS的上传带宽进行了相应的限流，单节点最大的上传带宽范围在20MB/s~70MB/s。 因此在选择实例节点数量时，一般也要考虑备份的带宽限制，选择合适的节点数量，以达到更好的性能。 备份上传过程中会消耗一定的CPU，因此会存在CPU上涨的现象，一般涨幅范围在5%~15%，该现象属于正常现象。 备份上传的过程中，内存增长并不明显。一般在300MB左右，实际内存的增长量和实例数据量大小有关。这部分增长的内存主要是备份上传和读取时进行的少量缓存，备份上传结束后内存会恢复正常。

自动备份策略 系统按照自动备份策略，对数据库进行自动备份，备份将以压缩包的形式存储在 对象存储服务 中，以保证用户数据的机密性和持久性。建议您定期对数据库进行备份，当数据库故障或数据损坏时，可以通过备份恢复数据库。由于开启备份会损耗数据库读写性能，建议您选择业务低峰时间段启动自动备份。 创建数据库实例时，系统默认开启自动备份策略，默认开启的自动备份策略设置如下： 图1 开启备份策略 增量备份：系统默认开启增量备份。可以手动开启或关闭增量备份，开启增量备份会在下次全备时生效，建议勾选增备周期下的立即创建备份。勾选立即创建备份后，立即下发全量备份，增量开始生效；不勾选时，增量备份会在下次全备时生效。增备开通之后会占用OBS存储空间。 增备周期：系统默认自动将每隔15分钟的离散时间点上的增量数据进行备份。如需开通自动增备请联系技术支持进行处理。 保留天数：自动备份可保留天数默认为7天。可设置保留天数范围为1~35天。对于系统中最近一个全量备份文件，如果在新的全量备份未超过保留天数前系统会一直保留，直至新的全量备份超过保留天数后才会删除。 增加保留天数，可提升数据可靠性，请根据需要设置。 减少保留天数，会针对已有的备份文件生效，即超出备份保留天数的已有备份文件（包括全量备份和增量备份）会被自动删除，但手动备份不会自动删除，请您谨慎选择。 保留天数小于7天，系统每天都会进行自动备份。 系统会自动检测已有的自动备份文件，若备份文件超过用户自定义的数据保留天数，则将其删除。 备份时间段：默认为24小时中，间隔一小时的随机的一个时间段，例如00:00～01:00。备份时间段以GMT时区保存。如果碰到夏令时或冬令时切换，备份时间段会因时区变化而改变。 假如保留天数设置为“2”，表示超过两天的全量备份和增量备份会被自动删除。即周一产生的备份会在周三删除，同理，周二产生的备份会在周四删除。 全量备份文件自动删除策略： 已有备份文件超出备份天数后会自动删除，考虑到数据完整性，自动删除时仍然会保留最近的一次超过保留天数的全量备份，保证在保留天数内的数据可正常恢复。 假如备份周期选择“周一”、“周二”，保留天数设置为“2”，备份文件的删除策略如下： 本周一产生的全量备份，会在本周四当天自动删除。原因如下： 本周二的全量备份在本周四当天超过保留天数，按照全量备份文件自动删除策略，会保留最近的一个超过保留天数的全量备份（即本周二的备份会被保留），因此周四当天删除本周一产生的全量备份文件。 本周二产生的全量备份，会在下周三当天自动删除。原因如下： 下周一产生的全量备份在下周三超过保留天数，按照全量备份文件自动删除策略，会保留最近的一个超过保留天数的全量备份（即下周一的备份会被保留），因此下周三当天删除本周二产生的全量备份。 备份周期：默认为全选。 全选：选择一周内的每一天。系统每天都会进行自动备份。 选择周期：选择一周内的一天或几天。系统会在所选时间进行自动备份。 备份周期对应的备份开始时间1小时内，系统会自动触发全量备份。备份所需时间由备份数据量决定，备份数据量越大，备份所需时间越长。 实例创建成功后，您可根据业务需要设置自动备份策略。系统将按照您设置的自动备份策略对数据库进行备份。 关闭自动备份策略后，自动备份将会立即停止。

使用须知 用户既可以扩大规格，也可以降低规格。 节点规格变更采用滚动方式，单个节点耗时约5-10分钟，总时长与节点数量有关。 正在进行变更的节点，其计算任务由其他节点分担，请在业务低峰变更，避免实例过载。 规格变更过程中，不建议进行DDL操作。 DDL即数据定义语言(Data Definition Language) ，是SQL语言集中负责数据结构定义与数据库对象定义的语言，由CREATE、ALTER与DROP三个语法所组成。数据定义语言主要负责创建、修改、删除数据库对象（如：表、索引、视图、函数、存储过程和触发器等）。 CPU规格/节点数支持在“实例管理”页面显示，您可以联系客服申请开通。 在变更实例的CPU和内存规格期间，每个节点会串行进行变更，每个节点变更期间会有部分读写失败、时延上升，建议业务空闲时操作。 实例异常时，若强制执行规格变更操作，可能会造成秒级的业务影响，请谨慎选择强制执行规格变更操作。

注意事项 为保证任务的正常运行，DRS提供了自动化的检查方法，在您启动DRS任务前，会针对源数据库和目标数据库的相关配置、条件进行检查。主要的检查项和对应的处理建议请参考预检查项。除了预检查项目之外，您还需要注意的事情参见表4。 表4 注意事项 类型名称 使用和操作限制 源数据库限制 不支持reset master或reset master to命令，可能会导致DRS任务失败或者数据不一致。 如果源数据库MySQL不支持TLS1.2协议，或者为版本较低的自建库（低于5.6.46或在5.7.0-5.7.28之间），需提交运维申请才能使用SSL测试连接。 使用限制 通用： 不允许源数据库进行恢复操作。 任务启动、任务全量同步阶段，不建议做删除类型的DDL操作，可能会引起任务失败。 全量同步阶段： DRS全量同步表结构时，列名不能是CTID、XMIN、CMIN、XMAX、CMAX、TABLEOID、XC_NODE_ID、TID、OID、GS_TUPLE_UID、TABLEBUCKETID，这些 GaussDB 禁止的字段，否则会导致建表失败。 增量同步阶段： 不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限，或修改源和目标数据库的端口号。 如果设置session变量character_set_client为binary，可能导致乱码。 增量同步过程中支持DDL操作。默认同步的DDL类型有CREATE_TABLE，RENAME_TABLE，ADD_COLUMN，RENAME_COLUMN，MODIFY_COLUMN，CHANGE_COLUMN，ALTER_COLUMN，DROP_INDEX，RENAME_INDEX，客户可以根据自身需求，在对象选择页面选择需要同步的DDL类型。 增量同步过程中，不支持DELETE和UPDATE目标数据库主键类型为tinyblob、blob、mediumblob、longblob、tinytext、text、mediumtext、longtext、clob、nclob、bytea、binary的表。 结束任务： 任务正常结束： 请确保任务结束前，不要断开源和目标数据库的网络连通性，并在结束任务时关注同步日志上报的状态，达到数据库完整同步效果。 任务强制结束： 强制结束将直接释放DRS资源。 常见故障排查： 在任务创建、启动、全量同步、增量同步、结束等过程中，如有遇到问题，可先参考“故障排查”章节进行排查。 其他限制 如果专属计算集群不支持4vCPU/8G或以上规格实例，则无法创建同步任务。 在MySQL中，同一个database（schema）下面的不同表可以存在相同的索引名或约束名。而目标数据库GaussDB中，同一个schema中索引和约束名是唯一的，且长度存在上限。为防止索引和约束名冲突，在全量同步中，DRS同步到目标表上的索引名称将变为此格式：哈希值+原索引名（可能被截断）+_key。其中哈希值由"原库名_原表名_原索引名"计算得到。同理，表上的原约束名将变为：哈希值+原约束名（可能被截断）+_key。 暂不支持级联单向同步，例如从实例A同步到实例B，再从实例B同步到实例C。 源库表同步至目标库后分布方式为哈希分布，暂不支持复制分布。 源库为RDS for MySQ L实例 时，不支持带有TDE特性并建立具有加密功能表。 在创建DRS任务之前，如果源数据库实例开启并设置了SQL限流规则，可能会导致DRS任务失败。 网络中断在30秒内恢复的，不影响实时同步，如果超过30秒，则会导致同步任务失败。 支持目标数据库中的表比源数据库多列场景，但是需要避免以下场景可能导致的任务失败。 目标数据库多的列要求非空且没有默认值，源库insert数据，同步到目标数据库后多的列为null，不符合目标数据库要求。 目标数据库多的列设置固定默认值，且有唯一约束。源库insert多条数据后，同步到目标数据库后多的列为固定默认值，不符合目标数据库要求。 源库和目标库均相同的任务不允许出现重复同步的情况，如：A任务和B任务同时将源库的同一张表的实时同步到目标库的同一张表中，可能导致数据不一致和同步失败。 GaussDB只能设置库级字符集，如果遇到MySQL中设置了表级、字段级字符集的场景，可能会因为字符长度问题导致创建表结构异常。 DRS全量同步表结构时，源库中char、varchar、nvarchar、enum、set字符类型长度在目标库会按照字节长自动扩大（因为目标库为字节长），扩大倍数和源库中列的字符集有关。如源库字符集为UTF8的按照字节长扩大3倍，为UTF8MB4的按照字节长扩大4倍。 不建议在数据库中使用非精确数值类型做主键，该特性影响DRS增量场景下对UPDATE、DELETE语句的同步，导致任务失败。 如果无主键表中包含大字段（tinyblob、blob、mediumblob、longblob、tinytext、text、mediumtext、longtext、clob、nclob、bytea、binary），增量同步阶段存在大字段数据不一致的可能性。 由于浮点型数据是采用近似值存储，而不是作为精确值存储，此外操作系统平台和底层实现也对浮点型数据有影响，因此FLOAT，DOUBLE类型的数据是不精确的，所以在MySQL和GaussDB同步浮点型数据，存在一定差异的可能性，可参考MySQL的官方文档。 由于MySQL与GaussDB针对零时间（"0000-00-00 00:00:00"）内置的处理方式不同，当进行内容对比时，如果源、目标数据库存在零时间，对比结果会显示数据不一致。 源数据库MySQL的表中存如果在定长的binary字段，MySQL驱动会在数据末尾按照长度补齐\0，可能导致同步到目标库GaussDB后出现数据不一致的情况。 源数据库如果存在非标浮点类型，且非标浮点类型存在宽松模式可以写入但严格模式下无法写入的数据，同步过程可能会有数据不一致的风险。 不支持两阶段事务。 源数据库同步的表如果有AUTO_INCREMENT属性，结束任务时，DRS会自动刷新同步表的序列整型列所对应的GaussDB自增列（sequence）起始值，刷新值为该列的最大值+10000。

注意事项 为保证任务的正常运行，DRS提供了自动化的检查方法，在您启动DRS任务前，会针对源数据库和目标数据库的相关配置、条件进行检查。主要的检查项和对应的处理建议请参考预检查项。除了预检查项目之外，您还需要注意的事情参见表4。 表4 注意事项 类型名称 使用和操作限制 源数据库限制 不支持reset master或reset master to命令，可能会导致DRS任务失败或者数据不一致。 如果源数据库MySQL不支持TLS1.2协议，或者为版本较低的自建库（低于5.6.46或在5.7.0-5.7.28之间），需提交运维申请才能使用SSL测试连接。 使用限制 通用： 不允许源数据库进行恢复操作。 任务启动、任务全量同步阶段，不建议做删除类型的DDL操作，可能会引起任务失败。 全量同步阶段： DRS全量同步表结构时，列名不能是CTID、XMIN、CMIN、XMAX、CMAX、TABLEOID、XC_NODE_ID、TID、OID、GS_TUPLE_UID、TABLEBUCKETID，这些GaussDB禁止的字段，否则会导致建表失败。 增量同步阶段： 不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限，或修改源和目标数据库的端口号。 如果设置session变量character_set_client为binary，可能导致乱码。 增量同步过程中支持DDL操作。默认同步的DDL类型有CREATE_TABLE，RENAME_TABLE，ADD_COLUMN，RENAME_COLUMN，MODIFY_COLUMN，CHANGE_COLUMN，ALTER_COLUMN，DROP_INDEX，RENAME_INDEX，客户可以根据自身需求，在对象选择页面选择需要同步的DDL类型。 增量同步过程中，不支持DELETE和UPDATE目标数据库主键类型为tinyblob、blob、mediumblob、longblob、tinytext、text、mediumtext、longtext、clob、nclob、bytea、binary的表。 结束任务： 任务正常结束： 请确保任务结束前，不要断开源和目标数据库的网络连通性，并在结束任务时关注同步日志上报的状态，达到数据库完整同步效果。 任务强制结束： 强制结束将直接释放DRS资源。 常见故障排查： 在任务创建、启动、全量同步、增量同步、结束等过程中，如有遇到问题，可先参考“故障排查”章节进行排查。 其他限制 如果专属计算集群不支持4vCPU/8G或以上规格实例，则无法创建同步任务。 在MySQL中，同一个database（schema）下面的不同表可以存在相同的索引名或约束名。而目标数据库GaussDB中，同一个schema中索引和约束名是唯一的，且长度存在上限。为防止索引和约束名冲突，在全量同步中，DRS同步到目标表上的索引名称将变为此格式：哈希值+原索引名（可能被截断）+_key。其中哈希值由"原库名_原表名_原索引名"计算得到。同理，表上的原约束名将变为：哈希值+原约束名（可能被截断）+_key。 暂不支持级联单向同步，例如从实例A同步到实例B，再从实例B同步到实例C。 源库表同步至目标库后分布方式为哈希分布，暂不支持复制分布。 源库为RDS for MySQL实例时，不支持带有TDE特性并建立具有加密功能表。 在创建DRS任务之前，如果源数据库实例开启并设置了SQL限流规则，可能会导致DRS任务失败。 网络中断在30秒内恢复的，不影响实时同步，如果超过30秒，则会导致同步任务失败。 支持目标数据库中的表比源数据库多列场景，但是需要避免以下场景可能导致的任务失败。 目标数据库多的列要求非空且没有默认值，源库insert数据，同步到目标数据库后多的列为null，不符合目标数据库要求。 目标数据库多的列设置固定默认值，且有唯一约束。源库insert多条数据后，同步到目标数据库后多的列为固定默认值，不符合目标数据库要求。 源库和目标库均相同的任务不允许出现重复同步的情况，如：A任务和B任务同时将源库的同一张表的实时同步到目标库的同一张表中，可能导致数据不一致和同步失败。 GaussDB只能设置库级字符集，如果遇到MySQL中设置了表级、字段级字符集的场景，可能会因为字符长度问题导致创建表结构异常。 DRS全量同步表结构时，源库中char、varchar、nvarchar、enum、set字符类型长度在目标库会按照字节长自动扩大（因为目标库为字节长），扩大倍数和源库中列的字符集有关。如源库字符集为UTF8的按照字节长扩大3倍，为UTF8MB4的按照字节长扩大4倍。 不建议在数据库中使用非精确数值类型做主键，该特性影响DRS增量场景下对UPDATE、DELETE语句的同步，导致任务失败。 如果无主键表中包含大字段（tinyblob、blob、mediumblob、longblob、tinytext、text、mediumtext、longtext、clob、nclob、bytea、binary），增量同步阶段存在大字段数据不一致的可能性。 由于浮点型数据是采用近似值存储，而不是作为精确值存储，此外操作系统平台和底层实现也对浮点型数据有影响，因此FLOAT，DOUBLE类型的数据是不精确的，所以在MySQL和GaussDB同步浮点型数据，存在一定差异的可能性，可参考MySQL的官方文档。 由于MySQL与GaussDB针对零时间（"0000-00-00 00:00:00"）内置的处理方式不同，当进行内容对比时，如果源、目标数据库存在零时间，对比结果会显示数据不一致。 源数据库MySQL的表中存如果在定长的binary字段，MySQL驱动会在数据末尾按照长度补齐\0，可能导致同步到目标库GaussDB后出现数据不一致的情况。 源数据库如果存在非标浮点类型，且非标浮点类型存在宽松模式可以写入但严格模式下无法写入的数据，同步过程可能会有数据不一致的风险。 不支持两阶段事务。 源数据库同步的表如果有AUTO_INCREMENT属性，结束任务时，DRS会自动刷新同步表的序列整型列所对应的GaussDB自增列（sequence）起始值，刷新值为该列的最大值+10000。

修订记录 发布日期 修改说明 2024-06-30 第十七次正式发布，包含以下修改点： 新增GaussDB分布式版同步到Kafka。 新增GaussDB主备版数据同步到Kafka。 2024-04-30 第十六次正式发布，包含以下修改点： 新增本地MySQL同步到GaussDB分布式版。 2023-11-30 第十五次正式发布，包含以下修改点： 新增本地Oracle同步到GaussDB主备版。 2023-07-30 第十四次正式发布，包含以下修改点： 新增安全最佳实践。 2022-11-10 第十三次正式发布，包含以下修改点： 新增本地Oracle同步到DDM。 2022-06-15 第十二次正式发布，包含以下修改点： 新增MySQL分库分表迁移到DDM。 2022-04-30 第十一次正式发布，包含以下修改点： 新增RDS for MySQL迁移到DDM。 2021-11-30 第十次正式发布，包含以下修改点： 新增RDS for MySQL通过DRS搭建异地单主灾备。 2021-11-20 第九次正式发布，包含以下修改点： 新增RDS for MySQL同步到Kafka。 新增其他云MySQL迁移到GaussDB(for MySQL)。 2021-10-30 第八次正式发布，包含以下修改点： 新增自建MySQL迁移到RDS for MySQL。 新增本地Oracle同步到GaussDB分布式版。 2021-08-30 第八次正式发布，包含以下修改点： 新增其他云PostgreSQL同步到RDS for PostgreSQL。 2020-11-30 第七次正式发布，包含以下修改点： 新增MySQL数据库到GaussDB(for MySQL)的迁移实例。 2019-10-30 第六次正式发布，包含以下修改点： MySQL支持部分迁移用户。 备份迁移支持对备份文件的预校验。 2019-07-30 第五次正式发布，包含以下修改点： 新增备份迁移：本地Microsoft SQL Server备份迁移至本云RDS for SQL Server实例。 实时迁移目标库取消绑定EIP。 2018-09-30 第四次正式发布，包含以下修改点： 新增PostgreSQL迁移。 支持延时阈值设置。 支持设置源库类型。 2018-08-31 第三次正式发布，包含以下修改点： 迁移进度显示剩余时间。 迁移对比支持对象级对比和数据级对比。 支持MongoDB集群的全量迁移。 2018-07-14 第二次正式发布，包含以下修改点： 新增MongoDB数据库的迁移。 新增启动任务。 新增通知收件人。 迁移准备内容按照权限准备，网络准备和安全组准备进行结构调整。 2018-05-31 第一次正式发布。

最佳实践汇总 本文汇总了基于 数据复制服务 （Data Replication Service，简称DRS）常见应用场景的操作实践，每个实践我们提供详细的方案描述和操作指导，用于指导您快速实现数据库迁移和同步。 表1 DRS最佳实践一览表 功能 源数据库类型 目标数据库 实践案例 实时迁移 其他云MySQL数据库 华为云RDS for MySQL 其他云MySQL迁移到云数据库 RDS for MySQL 华为云GaussDB(for MySQL) 其他云MySQL迁移到GaussDB(for MySQL) 其他云MongoDB 华为云DDS 其他云MongoDB迁移到DDS 自建MySQL 华为云RDS for MySQL 自建MySQL迁移到RDS for MySQL ECS自建MySQL 华为云GaussDB(for MySQL) ECS自建MySQL迁移到GaussDB(for MySQL) ECS自建MongoDB 华为云DDS ECS自建MongoDB迁移DDS 本地自建MySQL 华为云RDS for MySQL 本地MySQL迁移到RDS for MySQL 本地自建MongoDB 华为云DDS 本地MongoDB迁移到DDS 华为云RDS for MySQL 分布式数据库 中间件DDM RDS for MySQL迁移到DDM MySQL分库分表 分布式数据库中间件DDM MySQL分库分表迁移到DDM 备份迁移 本地Microsoft SQL Server 华为云RDS for SQL Server 本地Microsoft SQL Server备份迁移至本云RDS for SQL Server实例 实时同步 其他云PostgreSQL 华为云RDS for PostgreSQL 其他云PostgreSQL同步到RDS for PostgreSQL ECS自建PostgreSQL ECS自建PostgreSQL同步到RDS for PostgreSQL 本地自建PostgreSQL 本地PostgreSQL同步到RDS for PostgreSQL 本地自建MySQL 华为云GaussDB分布式版 本地MySQL同步到GaussDB分布式版 本地自建Oracle 华为云GaussDB分布式版 本地Oracle同步到GaussDB分布式版 华为云GaussDB主备版 本地Oracle同步到GaussDB主备版 分布式数据库中间件DDM 本地Oracle同步到DDM 华为云RDS for MySQL 分布式消息服务Kafka RDS for MySQL同步到Kafka 华为云GaussDB分布式版 分布式消息服务Kafka GaussDB分布式版同步到Kafka 华为云GaussDB主备版 分布式消息服务Kafka GaussDB主备版数据同步到Kafka 实时灾备 华为云RDS for MySQL 华为云RDS for MySQL RDS for MySQL通过DRS搭建异地单主灾备

API使用者从 OneAccess 获取鉴权Token API使用者调用OneAccess鉴权接口获取鉴权Token。 访问接口：https://访问 域名 /api/v2/tenant/token?grant_type=client_credentials。 PostMan调用示例： 访问域名获取可参考获取用户访问域名。 使用POST访问，使用Basic认证，Basic认证的用户名和密码为4中获取的ClientId和ClientSecret。 返回的id_token可以由API使用者使用对应API时传递给API提供者做身份认证和授权，其中包含签名信息以及对应的API权限信息。可以使用header来传递。建议使用标准的Authorization Header传递。 返回的id_token有有效期，有效期之内，此id_token可以重复使用，有效期的期限由应用中配置决定。

修改华为账号手机号 进入“基本信息”页面。 在“华为账号信息”区域，单击“前往管理”。 在“账号与安全”页面，单击“手机号”后的“更改”。 进行身份验证。 通过手机号码进行身份验证 单击“短信验证码”后面的“获取验证码”，获取并输入短信验证码，单击“下一步”。 通过注册邮箱进行身份验证 单击“选择其他验证方式”，选择邮箱，单击“邮件验证码”后面的“获取验证码”，获取并输入邮件验证码，单击“下一步”。 如果手机号或邮箱都无法验证身份，请提交工单处理或拨打客服电话4000-955-988反馈。参考FAQ准备好用于身份认证的相关材料。 输入新手机号码并单击“获取验证码”，获取并输入短信验证码。 单击“确定”。 系统提示修改手机号码成功。 华为账号修改绑定的手机号码时，系统会根据您当前的操作环境进行检测。如识别本次操作可能存在风险，则修改手机号码时将会触发新手机号码延迟3天生效。我们建议您在经常登录此账号的终端设备或受信任的浏览器上操作修改手机号码。 父主题： 修改手机号

接入网络模式 对于伙伴云集群，各集群提供商或本地数据中心对于网络入方向的端口规则有差异，防止特定端口外的入站通信。因此UCS使用集群网络代理的连接方式，如图2所示，无需在防火墙上启用任何入方向端口，仅通过集群代理程序的方式在出方向与UCS服务建立会话。 伙伴云集群接入网络的方法有两种，具有不同的优点： 公网接入：具有弹性灵活、成本低、易接入的优点。 私网接入：可获得更加高速、低时延、稳定安全的体验。 图2 集群接入原理

更多操作 告警行动规则创建完成后，您还可以执行表2中的相关操作。 表2 相关操作 操作 说明 编辑告警行动规则 单击“操作”列的“编辑”。 删除告警行动规则 删除单条规则：单击对应规则“操作”列的“删除”，随后在提示页面单击“确定”即可删除。 删除单条或多条规则：勾选对应规则前的复选框，单击“批量删除”，随后在提示页面单击“确定”即可删除。 说明： 删除告警行动规则前需要先删除该行动规则绑定的告警规则。 搜索告警行动规则 在右上角的搜索框中输入规则名称关键字，单击后显示匹配对象。

Kerberos介绍 Hadoop社区版本提供两种认证方式Kerberos认证（安全模式）和Simple认证（普通模式），在创建集群时， MRS 支持配置是否启用Kerberos认证。 在安全模式下MRS集群统一使用Kerberos认证协议进行安全认证。 功能 使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。 使用前提 需要Kerberos客户端、keytab路径、Kerberos认证用户名称、客户端配置krb5.conf文件。 原理结构图 Kerberos原理架构图如下图所示，详细介绍请参见MRS服务的安全认证原理以及认证机制章节。 图1 原理架构图 表1 参数说明 参数 说明 Application Client 应用客户端，通常是需要提交任务（或者作业）的应用程序。 Application Server 应用服务端，通常是应用客户端需要访问的应用程序。 Kerberos 提供安全认证的服务。 KerberosAdmin 提供认证用户管理的进程。 KerberosServer 提供认证票据分发的进程。

背景 许多客户的Hive表数据在OBS或HDFS上，需要Doris对接Hive外表，且Hive集群分为安全集群与非安全集群，所以可以使用以下4种方式进行数据查询： 使用catalog连接非安全认证hive on hdfs。 使用catalog连接kerberos安全认证hive on hdfs。 使用catalog连接非安全认证hive on obs。 使用catalog连接kerberos安全认证hive on obs。

创建MRS Hive连接步骤 通过访问以下地址登录 表格存储服务 管理控制台：https://console.huaweicloud.com/cloudtable。 用户在CloudTable集群管理界面，选择需要操作的集群进入集群详情页面。 单击tab页中的“连接设置”，弹出连接页面。 单击左上角“新建连接”创建MRS Hive连接。 新建连接类型：非安全认证hive on hdfs，认证类型选择SIMPLE，OBS按钮关闭状态。 图1 新建连接页面 表1 参数说明 参数 描述 名称 根据连接的数据源类型，用户可以自定义连接名。 说明： 必须以字母开头，由字母、数字、中划线组成，不能包含其他的特殊字符，并且长度为4～64个字符。 连接器 Doris支持的外部数据目录组件，目前支持可选：Hive。 Hadoop类型 Doris支持hadoop组件，目前支持的可选：MRS。 集群名称 MRS集群名称。 说明： Doris只能对接一个kerberos集群中的一个用户。 Manager IP MRS Manager的浮动IP地址，选择连接的集群后，ip地址会自动填充。 认证类型 MRS集群鉴权类型，安全集群可选“KERBEROS”，非安全集群可选“SIMPLE”。选择连接的集群后，安全类型会自动填充。 连接器版本 MRS集群的数据源组件的版本，HIVE支持3版本，可选：3.X。 用户名 MRS集群的用户名。 密码 MRS集群mrs_user_name对应的密码。 OBS支持 打开按钮，则支持OBS。关闭按钮则不支持OBS。 配置好参数后，单击测试。如果测试失败请检查用户名和密码是否正确。 测试完成后，单击确定按钮，连接设置页面会出现一条新的连接记录。

查看ClickHouse集群监控信息 登录 表格存储 服务管理控制台。 单击管理控制台左上角的，选择区域。 在左侧导航树，单击集群管理。 在集群列表中找到需要查看的集群，在对应的操作列中，单击查看监控信息，系统会跳到该集群的“云服务监控”页面。 待查看集群，其状态必须为“服务中”。 在集群的“云服务监控”页面中，单击集群ID前的按钮展开计算单元列表，选择对应节点查看监控信息。 如果您查看监控页面的指标太多，可以对指标进行设置，设置自己需要查看的指标。 如果指标太多，可以通过设置监控指标页面对指标进行删除。 如果页面显示的指标没有您想看的指标，可以在设置监控指标页面进行添加。 选择您在页面中要展示的指标名称，拖动选中指标可以对指标进行排序。 如果想实时查看监控数据，可以开启自动刷新。平台可按1小时、3小时、12小时、24小时、7天的间隔自动刷新监控图表。 如果想放大单个指标视图，在监控指标视图右上角，单击可查看监控指标视图详情。

背景 在数据分析的实际场景中，冷热数据面临着不同的查询频次及响应速度要求。而随着历史数据的不断增多，如果我们将所有数据存储在本地，将造成大量的资源浪费。冷热分离特性可将冷热数据分开存储，将冷热数据分别存储在成本不同的存储介质上。热数据提高时效数据的查询速度和响应能力，冷数据降低存储成本。我们还可以根据实际业务需求进行灵活的配置和调整，以满足不同场景的要求。冷热分离一般适用于以下需求场景： 数据存储周期长：面对历史数据的不断增加，存储成本也随之增加。 冷热数据访问频率及性能要求不同：热数据访问频率高且需要快速响应，而冷数据访问频率低且响应速度要求不高。

原理介绍 创建表：CloudTable Doris通过文件系统在本地数据目录创建目录。 写数据：调用文件系统相关功能，生成文件到本地数据目录下。 合并数据：定期读取数据文件rowset，判断数据时间戳和时间线。如果当前时间减去写入时间小于TTL设置的值，则文件不移动。如果当前时间减去写入时间大于TTL设置的值，则会在系统后台执行并调用OBS SDK数据写入OBS，随后将本地文件删除。 查询数据：用户在表上进行对应的查询时，Doris会根据对应Partition使用的Policy信息找到对应的OBS并行文件系统的相关路径，并根据不同Tablet下的Rowset信息下载查询所需的数据到本地进行运算。

注意事项 当集群状态处于“服务中”，且没有任何任务操作（如：规格变更、水平扩容）时，可以执行扩容操作。 请确定计划扩容的计算单元数小于等于用户计算单元的剩余配额，否则系统会提示无法进行扩容操作。 水平扩容过程中，不会自动重启集群，保证业务不中断，平滑扩容。纵向扩容过程中，集群会停止运行，直到参数设置完后才会重启集群的各个节点。 如果扩容失败，“任务状态”将显示为“单元扩容失败”，集群会自动回滚到扩容前的状态。用户可以再次重试扩容操作。

查看监控信息 登录表格存储服务管理控制台。 单击管理控制台左上角的，选择区域。 在左侧导航树，单击集群管理。 在集群列表中找到需要查看的集群，在对应的操作列中，单击查看监控信息，系统会跳到该集群的“云服务监控”页面。 待查看集群，其状态必须为“服务中”。 图1 查看监控信息 在集群的“云服务监控”页面中，单击集群ID前的按钮展开计算单元列表，选择对应节点查看监控信息。 图2 监控页面 ID：所监控的实例ID，即CloudTable集群ID。 查看监控指标：如图监控页面所示的计算单元列表中，找到所需查看的计算单元，单击“查看监控指标”进入该计算单元的监控指标页面。 如果您查看监控页面的指标太多，可以对指标进行设置，设置自己需要查看的指标。 如果指标太多，可以通过设置监控指标页面对指标进行删除。 如果页面显示的指标没有您想看的指标，可以在设置监控指标页面进行添加。 选择您在页面中要展示的指标名称，拖动选中指标可以对指标进行排序。 图3 设置监控指标页面 如果想实时查看监控数据，可以开启自动刷新。平台可按1小时、3小时、12小时、24小时、7天的间隔自动刷新监控图表。 如果想放大单个指标视图，在监控指标视图右上角，单击可查看监控指标视图详情。

场景介绍 时序表继承普通表的行存和列存语法，降低了用户学习成本，易理解和使用。 时序表具备数据生命周期管理的能力，每天各种维度的数据爆炸式增长，需要定期给表增加新的分区，避免新数据无法存储。而对于很久之前的数据，其价值较低且不经常访问，可以定期删除无用的数据。因此时序表需要具备定时增加分区和定时删除分区的能力。 本实践主要讲解如何快速创建适合自己业务的时序表，并对时序表进行分区管理，从而真正发挥时序表的优势。将对应的列指定为合适的类型，能够帮助用户更好的提高导入、查询等场景的性能，让业务场景运行的更加高效。如下图所示，以发电机组数据采样为例： 图1 发电机组数据采样示意图

创建时序表（手动设置分区边界） 手动指定分区边界的起始值。例如，手动设置默认的分区边界时间P1为“2022-05-30 16:32:45”、P2为“2022-05-31 16:56:12”，创建时序表GENERATOR1： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 CREATE TABLE IF NOT EXISTS GENERATOR1( genset text TSTag, manufacturer text TSTag, model text TSTag, location text TSTag, ID bigint TSTag, voltage numeric TSField, power bigint TSField, frequency numeric TSField, angle numeric TSField, time timestamptz TSTime) with (orientation=TIMESERIES, period='1 day') distribute by hash(model) partition by range(time) ( PARTITION P1 VALUES LESS THAN('2022-05-30 16:32:45'), PARTITION P2 VALUES LESS THAN('2022-05-31 16:56:12') ); 查询当前时间： 1 2 3 4 select now(); now ------------------------------- 2022-05-31 20:36:09.700096+08(1 row) 查询分区以及分区边界： 1 2 3 4 5 6 7 8 SELECT relname, boundaries FROM pg_partition where parentid=(SELECT oid FROM pg_class where relname='generator1') order by boundaries ; relname | boundaries -------------+---------------------------- p1 | {"2022-05-30 16:32:45+08"} p2 | {"2022-05-31 16:56:12+08"} p1654073772 | {"2022-06-01 16:56:12+08"} p1654160172 | {"2022-06-02 16:56:12+08"} ......

支持区域 当前已上传OBS数据的区域如表1所示。 表1 区域和OBS桶名 区域 OBS桶名 华北-北京一 dws-demo-cn-north-1 华北-北京二 dws-demo-cn-north-2 华北-北京四 dws-demo-cn-north-4 华北-乌兰察布一 dws-demo-cn-north-9 华东-上海一 dws-demo-cn-east-3 华东-上海二 dws-demo-cn-east-2 华南-广州 dws-demo-cn-south-1 华南-广州友好 dws-demo-cn-south-4 中国-香港 dws-demo-ap-southeast-1 亚太-新加坡 dws-demo-ap-southeast-3 亚太-曼谷 dws-demo-ap-southeast-2 拉美-圣地亚哥 dws-demo-la-south-2 非洲-约翰内斯堡 dws-demo-af-south-1 拉美-墨西哥城一 dws-demo-na-mexico-1 拉美-墨西哥城二 dws-demo-la-north-2 莫斯科二 dws-demo-ru-northwest-2 拉美-圣保罗一 dws-demo-sa-brazil-1

场景描述 了解GaussDB(DWS)的基本功能和数据导入，对某公司与供应商的订单数据分析，分析维度如下： 分析某地区供应商为公司带来的收入，通过该统计信息可用于决策在给定的区域是否需要建立一个当地分配中心。 分析零件/供货商关系，可以获得能够以指定的贡献条件供应零件的供货商数量，通过该统计信息可用于决策在订单量大，任务紧急时，是否有充足的供货商。 分析小订单收入损失，通过查询得知如果没有小量订单，平均年收入将损失多少。筛选出比平均供货量的20％还低的小批量订单，如果这些订单不再对外供货，由此计算平均一年的损失。

创建冷热表 创建列存冷热数据管理表lifecycle_table，指定热数据有效期LMT为100天。 1 2 3 4 5 6 7 8 9 CREATE TABLE lifecycle_table(i int, val text) WITH (ORIENTATION = COLUMN, storage_policy = 'LMT:100') PARTITION BY RANGE (i) ( PARTITION P1 VALUES LESS THAN(5), PARTITION P2 VALUES LESS THAN(10), PARTITION P3 VALUES LESS THAN(15), PARTITION P8 VALUES LESS THAN(MAXVALUE) ) ENABLE ROW MOVEMENT;