华为云用户手册

  • 数据复制服务 DRS-暂停灾备任务:暂停任务
    暂停任务 在“实时灾备管理”页面的灾备列表中，选择要暂停的灾备任务，单击“操作”列的“暂停”。 在弹出的“暂停任务”对话框中，选择“暂停日志抓取”后，单击“是”。 暂停任务时，仅暂停增量数据的回放、或者拉取加回放，在进行数据库割接前，请先结束任务。 勾选“暂停日志抓取”后，该功能会停止一切DRS和源库、目标库的连接，请注意暂停过长可能会因为源端所需日志过期而导致任务无法恢复续传。建议暂停时间不超过24小时，具体时间请排查相应日志配置。 暂停成功后，状态栏显示为“已暂停”。 需要继续灾备时，可以使用续传功能。
    数据复制服务 DRS
  • 数据复制服务 DRS-灾备方案概览:支持的数据库类型
    支持的数据库类型 目前，DRS实时灾备支持的数据库类型，如下表所示。 表1 灾备方案 业务数据库 灾备数据库 相关文档 本地自建MySQL数据库 E CS 自建MySQL数据库 其他云上MySQL数据库 RDS for MySQL RDS for MySQL MySQL到MySQL单主灾备 MySQL到MySQL双主灾备 GaussDB (for MySQL) MySQL到GaussDB(for MySQL)单主灾备 DDM DDM DDM到DDM单主灾备 GaussDB(for MySQL) GaussDB(for MySQL) GaussDB(for MySQL)到GaussDB(for MySQL)单主灾备 GaussDB(for MySQL)到GaussDB(for MySQL)双主灾备
    数据复制服务 DRS
  • 数据复制服务 DRS-支持审计操作的关键列表
    支持审计操作的关键列表 云审计 服务是安全解决方案中专业的日志审计服务，记录了 数据复制服务 的相关操作事件，方便您日后的查询、审计和回溯。 表1 云审计服务支持的数据复制服务操作列表 操作名称 资源类型 事件名称 创建任务 job createJob 编辑任务 job modifyJob 删除任务 job deleteJob 启动任务 job startJob 续传任务 job retryJob 父主题： 对接云审计服务
    数据复制服务 DRS 对接云审计服务
  • 数据复制服务 DRS-任务状态说明
    任务状态说明 实时灾备提供了多种任务状态，以便区分不同阶段的灾备任务。 实时灾备任务的状态和说明，请参见表1。 表1 实时灾备任务状态和说明 状态 说明 创建中 正在创建数据复制服务需要用到的灾备实例。 配置 灾备实例创建成功，但还没有启动任务，可以继续配置任务。 冻结 账户余额小于或等于0元，系统对该用户下的实例进行冻结。 等待启动 已经下发了定时启动任务到灾备实例上，等待灾备实例启动任务。 启动中 正在启动灾备任务。 启动失败 实时灾备任务启动失败。 初始化 正在进行业务数据库到灾备数据库的全量数据初始化。 初始化完成 已完成灾备任务的初始化。 灾备中 持续进行从业务数据库到灾备数据库的增量数据灾备。 倒换中 正在进行灾备任务的主备倒换。 已暂停 实时灾备步任务已暂停。 灾备异常 灾备阶段中，任务出现异常。 结束任务 释放该灾备实例和资源。 结束任务中 正在释放灾备任务所使用的灾备实例和资源。 结束任务失败 释放灾备任务所使用的实例和资源失败。 已结束 灾备任务所使用的灾备实例释放成功。 对于创建失败的任务，DRS默认保留3天，超过3天将会自动结束任务。 对于未启动、状态为配置中的任务，DRS默认保留3天，超过3天DRS会自动删除后台资源，当前任务状态不变。当用户再次配置时，DRS会重新申请资源。 已删除的灾备任务在状态列表中不显示。 父主题： 任务生命周期
    数据复制服务 DRS
  • 数据复制服务 DRS-创建连接信息:约束限制
    约束限制 目前仅支持MySQL、PostgreSQL、MongoDB、Oracle数据库提前进行连接信息创建。 目前仅支持实时迁移、实时同步、实时灾备任务在测试连接步骤进行连接信息选择。 数据流动方向为入云（本云为备）时支持源数据库进行连接信息选择，数据流动方向为出云（本云为主）时支持目标数据库进行连接信息选择，数据流动方向为自建-自建时，源和目标数据库都可以选择。 创建连接信息时，需要选择网络类型，请选择与DRS任务一致的网络类型。如果连接信息与DRS任务的网络类型不一致，则无法在测试连接步骤选中。
    数据复制服务 DRS 连接信息管理
  • 数据复制服务 DRS-结束灾备任务:操作步骤
    操作步骤 在“实时灾备管理”页面的任务列表中，选择要结束的任务，单击“结束”。 在弹出框中单击“是”，提交结束任务。 当任务状态异常时（例如任务失败、网络异常），DRS会勾选“强制结束任务”优先结束任务，减少等待时间。 “强制结束任务”会直接释放DRS资源，请检查是否存在影响，确认同步情况。 如果需要正常结束任务，请先修复DRS任务，待任务状态正常后，再单击“结束”，正常结束任务。 当任务状态为灾备中并且当前链路是以MySQL为源的DRS链路，勾选“结束时展示断点信息”后，在任务结束后灾备进度页面会显示源库的GTID和binlog位点信息。
    数据复制服务 DRS 任务生命周期
  • 数据复制服务 DRS-数据对比（对比灾备项）:对数据库影响
    对数据库影响 对象对比：会查询源库及目标库的系统表，占用10个左右的session的连接数，正常情况不会对数据库产生影响。但是如果对象数量巨大（比如几十万张表），可能会对数据库产生一定的查询压力。 行数对比：会查询源库及目标库的表行数，占用10个左右的session的连接数，正常的select count语句基本不会对数据库产生影响。但是如果表数据量巨大（亿级）会对数据库产生一定的查询压力，返回查询结果会比较慢。 内容对比：会查询源库及目标库的全部数据，涉及每个字段都会对比，所以会对数据库产生一定的查询压力，主要体现在IO上，查询速度受限于源库和目标库的IO和网络带宽。占用1-2个CPU，占用10个左右的session的连接数。 用户对比：会查询源库及目标库的账户和权限，基本不会对数据库产生影响。
    数据复制服务 DRS 任务管理
  • 数据复制服务 DRS-数据对比（对比灾备项）:约束限制
    约束限制 对比是大小写敏感的，如果业务数据库或灾备数据库一端为非大小写敏感，一端为大小写敏感，对比结果可能出现不一致的情况。 如果在对比时业务数据库进行DDL操作，为保证对比结果的准确性，需重新进行内容对比。 如果单独对灾备数据库进行数据修改操作，可能会导致对比结果不一致。 如果业务数据库字符类型存在编码异常的情况，通过DRS灾备或对比时会因数据库驱动转码转换为异常码点，最终可能导致内容对比一致，实际字节不一致。 内容对比功能目前只支持带有主键的表，对于不支持内容对比的表可以使用行数对比功能。所以数据级对比功能需要结合业务场景，选用行数对比或者内容对比。 DRS进行内容比对期间不能暂停DRS任务，否则可能导致比对任务失败。 部分数据类型不支持内容对比，详情参考内容对比不支持哪些数据类型。 为避免占用资源，DRS对行对比的时长进行限制，超过限制时长，行对比任务自动停止。业务数据库是关系型数据库时，行对比限制时长为60分钟；业务数据库为非关系数据库，行对比限制时长为30分钟。 为避免占用资源，DRS任务的对比结果限制保留60天，60天后自动清除。 对于支持内容对比的灾备链路，如果创建任务时可以选择实例规格，那么仅支持大规格及以上规格进行内容对比。 MySQL、GaussDB(for MySQL)为源链路，源数据库中的虚拟列不支持内容对比，对比时会过滤虚拟列。
    数据复制服务 DRS 任务管理
  • 数据复制服务 DRS-源数据库expire_logs_days参数检查:处理建议
    处理建议 如果源数据库为云上RDS for MySQ L实例 ，可参考设置RDS for MySQL本地Binlog日志清理内容，将expire_logs_days设置在合理的范围内。 如果源数据库为本地自建MySQL，请参考如下步骤修复。 登录源数据库MySQL所在服务器。 执行以下命令，查看设置的Binlog保留时间。 show variables like 'expire_logs_days'; 或 show variables like 'binlog_expire_logs_seconds'; 手动修改my.cnf配置文件，设置Binlog保留时间，以3天为例。 expire_logs_days=3 或 binlog_expire_logs_seconds=259200; 修改完成后，需选择一个非业务时间段，重启源数据库即可。
    数据复制服务 DRS
  • 数据复制服务 DRS-全量阶段失败报错，关键词“Lock wait timeout exceeded; try restarting transaction”:场景描述
    场景描述 全量迁移或同步期间DRS任务报错，日志提示信息：service DATAMOVE failed, cause by: apply event=[type=table_data, batch_index_in_shard=***, table_schema=%s, table_name=%s, record_num=***] occur error, msg=apply data of table=`%s `.`%s ` failed: Lock wait timeout exceeded; try restarting transaction。
    数据复制服务 DRS
  • 数据复制服务 DRS-目标库最大支持chunk数目检查:MongoDB迁移场景
    MongoDB迁移场景 表1 目标库最大支持chunk数目检查 预检查项 目标库最大支持chunk数目检查。 描述 检查目标数据库的最大chunk数目是否足以支撑源库数据的分片分裂，当chunk个数达到目标库的最大支撑数目时，chunk不再分裂，会影响写入性能。 不通过提示及处理建议 待确认原因：目标库的最大chunk数目不足以支撑源库数据的分片分裂，当chunk个数达到目标库的最大支撑数目时，chunk不再分裂，会影响写入性能。 处理建议：选择更高规格的目标库实例。
    数据复制服务 DRS
  • 数据复制服务 DRS-目标数据库是否连接成功:处理建议
    处理建议 检查DRS测试连接时输入的用户名和密码是否正确，填入正确的数据库用户名和密码后重新执行预检查。 测试连接时输入的端口号无法访问，请检查端口是否存在。如果端口正确，需检查防火墙是否放开。 目标数据库为PostgreSQL，数据库配置文件pg_hba.conf缺少对数据库账号的配置，建议配置该账号的远程连接权限。 打开配置文件pg_hba.conf，添加如下配置，重启数据库生效。 host all xxx(dbuser) 0.0.0.0/0 method 完成DRS任务之后删除这条配置，重启数据库生效。 目标数据库为Kafka，可能存在以下原因，请进行排查： 检查Kafka brokers是否正常状态。 检查Kafka端是否开启了安全认证。如果开启了，请选择对应的安全连接方式，详细配置说明可参考这里。 进行数据迁移前需确保完成网络准备和安全规则设置，如果连接失败，请按照以下方法排查网络配置是否正确。 公网网络 请确保数据库已开放公网访问。 请确保数据库的安全规则设置正确。 数据库需要将DRS实例的弹性公网IP添加到其网络白名单中，确保DRS实例可以访问数据库。DRS实例创建成功后，可在“源库及目标库”页面获取DRS实例的弹性公网IP。 请确保防火墙设置正确。 数据中心防火墙需要放通DRS实例弹性公网IP的访问，使得DRS可以正常访问数据库。 入方向放行：放通DRS实例弹性公网IP到数据库监听端口的访问。 出方向放行：放通数据库监听端口到实例弹性公网IP的数据传输。 VPC网络 确保数据库安全组设置正确。 查看数据库安全组入方向规则，放通DRS私网IP作为源地址可以访问云数据库监听端口。DRS实例创建成功后，可在“源库及目标库”页面获取DRS实例的私网IP。 确保数据库网络ACL设置正确。 VPC默认没有网络ACL，如果您设置过网络ACL，需要增加入方向规则。 VPN、专线网络 请确保数据库VPN或专线网络配置正确。 请确保数据库的安全规则设置正确。 数据库需要将DRS实例的私有IP添加到其网络白名单中，确保DRS实例可以访问数据库。DRS实例创建成功后，可在“源库及目标库”页面获取DRS实例的私有IP。 更多关于DRS网络设置可参考准备工作概览内容。
    数据复制服务 DRS 网络情况
  • 数据复制服务 DRS-全量或增量阶段失败报错，关键词“Initialize logical replication stream failed, the source database may have a long transaction”:解决方案
    解决方案 检查源库复制槽数量是否达到最大复制槽数的限制。如果是，建议删除源库不再使用的复制槽，或者增大max_replication_slots后重启源库。 查询逻辑复制槽数量： select count(1) from pg_replication_slots; 查询最大复制槽数量： select setting as number from pg_settings where name = 'max_replication_slots'; 确定源库是否存在长事务未提交，如果有，则会建槽超时，导致任务失败。 查询事务情况： select pid, datname, state, backend_xid, xact_start, (now() - xact_start) as cost from pg_stat_activity where backend_xid is not null order by xact_start; 如果需要停止长事务执行： select pg_terminate_backend(pid);
    数据复制服务 DRS
  • 数据复制服务 DRS-增量同步失败报错，关键词“timeout when get next file log, maybe has been deleted, please check it.”:场景描述
    场景描述 Oracle为源DRS同步任务增量阶段报错，同步日志界面提示：service CAPTURE failed，cause by: get next Oracle log file error. The next file is: 1.log, errorcode = 'code': '01300', 'name': ' LOG S_NOT_EXIST', 'retry': false, 'reset': false, 'level': 3, message = timeout when get next file log, maybe has been deleted, please check it.
    数据复制服务 DRS
  • 数据复制服务 DRS-源数据库binlog日志是否开启:处理建议
    处理建议 如果源数据库为本地自建MySQL库，建议参考如下操作开启Binlog日志。 查看binlog日志是否开启。 show variables like "log_bin"; 如果是关闭状态，在MySQL配置文件my.cnf或my.ini中的[mysqld]标签下增加一行log-bin = mysql-bin。 重启数据库。 如果源数据库为云上RDS for MySQL实例，则默认开启Binlog，无需额外配置，binlog_format格式为row，详细说明可参考设置RDS for MySQL本地Binlog日志清理。 如果源库TiDB，建议在数据库配置文件的[binlog]标签下增加一行enable=true，然后重启数据库使设置生效。
    数据复制服务 DRS
  • 数据复制服务 DRS-数据库参数sql_mode的一致性检查:处理建议
    处理建议 修改源数据库或者目标数据库的sql_mode参数，使其保持一致。 如果为自建的MySQL数据库，可通过命令行方式修改。 SET sql_mode = '修改后的值'; 如果为RDS for MySQL实例，可通过修改数据库sql_mode参数实现，详情请参考修改实例参数章节。 如果涉及MyISAM表的迁移，目标数据库sql_mode参数取值中不能包含no_engine_substitution。 更多其他类型数据库修改sql_mode的方法，可参考对应数据库的使用说明。
    数据复制服务 DRS
  • 数据复制服务 DRS-增量同步失败报错，关键词“Table *** not found in target database”:解决方案
    解决方案 方法一：重新创建任务，并在使用时遵循以下DRS使用规则： 若选择同步DDL，请勿在源库执行DRS不支持的DDL。 若不选择同步DDL时，请勿在源库执行DDL，或在源库执行DDL前，先在目标库执行相同的DDL。 全量同步及增量同步期间，请勿在目标库执行写入操作，否则可能导致数据不一致或同步失败. 方法二：采取以下办法，尝试恢复DRS任务： 可能原因：同步任务没有选择同步DDL，源库的建表DDL未能同步至目标库。 解决方案：按照源库的表结构，在目标库创建对应的表，然后重试DRS任务。 可能原因：同步任务选择了同步DDL，但源库使用了DRS不支持同步的DDL语句创建了表。 解决方案：按照源库的表结构，在目标库创建对应的表，然后重试DRS任务。 可能原因：目标库删除了表。 解决方案：按照被删除的表结构，在目标库重新创建对应的表，然后重试DRS任务。 目标库删除表的同时，也删除了表中的数据，因此即使重新建表恢复任务，也可能导致该表数据不一致或任务再次失败。
    数据复制服务 DRS
  • 数据复制服务 DRS-全量同步失败报错，关键词“type 'hstore' does not exist”:场景描述
    场景描述 全量同步期间DRS任务报错，同步日志界面提示：service DATAMOVE failed, cause by: retry structures failed events=the fail structures are [type=operator, index=2, schema_name=public, object_name=?|]reason:[ERROR: type 'hstore' does not exist]
    数据复制服务 DRS
  • 数据复制服务 DRS-源数据库的库名是否合法:MySQL迁移场景
    MySQL迁移场景 表1 源数据库的库名是否合法 预检查项 源数据库的库名是否合法。 描述 源数据库库名不能包含非法字符，库名名称要在1到64个字符之间，由小写字母、数字、中划线、下划线组成，不能包含其他特殊字符。 该项校验源数据库的库名中是否包含上述非法的字符，若包含非法字符会导致迁移失败。 不通过提示及处理建议 不通过原因：源数据库连接失败，导致该项检查无法进行。 处理建议：查看源数据库连接是否成功。 不通过原因：源数据库库名包含不支持的字符，库名名称要在1到64个字符之间，由小写字母、数字、中划线、下划线组成，不能包含其他特殊字符。 处理建议：修改包含非法字符的数据库库名或者返回到对象选择页面迁移合法库名的数据库。
    数据复制服务 DRS
  • 数据复制服务 DRS-目标库的GTID功能检查:处理建议
    处理建议 目标数据库是RDS for MySQL实例时，GTID默认为开启状态且不支持关闭。如果GTID未开启，需要联系RDS for MySQL运维人员进行处理。 目标数据库为MySQL 5.5版本，则不支持设置GTID，无法使用DRS进行灾备，请创建迁移任务或联系运维人员进行处理。 目标数据库为MySQL 5.6及以上版本，通过修改数据库配置文件中如下参数开启GTID，然后重启数据库。 参考命令如下： gtid_mode = on log_slave_updates = true enforce_gtid_consistency = on
    数据复制服务 DRS
  • 数据复制服务 DRS-源数据库角色依赖检查:MongoDB迁移场景
    MongoDB迁移场景 表1 源数据库角色依赖检查 预检查项 源数据库角色依赖检查。 描述 在进行用户迁移时，若所选迁移的用户与某些角色存在依赖关系，需要同时选择迁移该用户及所依赖的角色，否则会导致迁移失败。 不通过提示及处理建议 不通过原因：源数据库角色依赖的数据库在目标数据库中不存在，并且也不在所选的对象选择列表中。 处理建议：在对象选择中选择角色依赖的数据库一起迁移，或者不迁移这些依赖检查不通过的角色。 不通过原因：源数据库角色依赖的角色在目标数据库中不存在，并且也不在用户的角色选择列表中。 处理建议：在角色选择中选择角色依赖的角色一起迁移，或者不迁移这些依赖检查不通过的角色。
    数据复制服务 DRS
  • 数据复制服务 DRS-所选表是否包含延迟约束:PostgreSQL为源同步场景
    PostgreSQL为源同步场景 表1 所选表是否包含延迟约束 预检查项 所选表是否包含延迟约束。 描述 所选表是否包含延迟约束，包含延迟约束的表有同步失败的风险 不通过提示及处理建议 不通过原因：包含延迟约束的表有同步失败的风险。 处理建议：重建约束去除延迟属性。 删除约束SQL为： alter table 模式名.表名 drop CONSTRAINT 约束名; 添加约束SQL为： alter table 模式名.表名 add CONSTRAINT 约束名 约束类型(字段列表) NOT DEFERRABLE;
    数据复制服务 DRS
  • 数据复制服务 DRS-源数据库的表名是否合法:PostgreSQL迁移场景
    PostgreSQL迁移场景 表2 源数据库的表名是否合法 预检查项 源数据库的表名是否合法。 描述 源数据库的表名不支持 '" .字符，检查源数据库表名是否合法，若存在不合法的字符，会导致实时同步失败。 不通过提示及处理建议 不通过原因：源数据库表名包含不支持的字符。 处理建议：通过执行如下语句，在源数据库修改包含不支持字符的表名： alter table old_name rename to new_name;
    数据复制服务 DRS
  • 数据复制服务 DRS-增量阶段失败报错，关键词“You have an error in your SQL syntax”:场景描述
    场景描述 增量迁移或同步期间DRS任务报错，日志提示信息：service INCREMENT failed, cause by: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'START TRANSACTION' at line 39
    数据复制服务 DRS
  • 数据复制服务 DRS-全量或增量阶段失败报错，关键词“The background process is unavailable”:场景描述
    场景描述 全量或增量阶段，DRS迁移或同步任务报错，日志提示信息：service %s failed, cause by: The background process is unavailable. Maybe it has been killed manually or by the operating system. Please restart the task if possible or wait for restarting by itself within 5 minutes.
    数据复制服务 DRS
  • 数据复制服务 DRS-全量阶段失败报错，关键词“Unknown database ***”:场景描述
    场景描述 全量迁移或同步期间DRS任务报错，日志提示信息：service DATAMOVE failed, cause by: retry structures failed events=the fail structures are [type=***, index=***, schema_name=***, object_name=***]reason:[Unknown database '***']
    数据复制服务 DRS
  • 数据复制服务 DRS-全量阶段失败报错，关键词“Unknown database ***”:解决方案
    解决方案 查看目标库是否存在错误信息中的database。 不存在，手工在目标库重新创建database，结构和源库保持一致，完成后在任务列表中，单击任务对应操作列的“续传”，重新提交任务。 存在，执行2。 请确认源库中是否存在错误信息中的database。 存在，请在对象选择中重新选中该database。 不存在，可能是对象依赖的database已经被删除或drs无权限读该database，该对象无法迁移，请重建任务，不要选择依赖被删除的数据库对象。
    数据复制服务 DRS
  • 数据复制服务 DRS-全量同步失败报错，关键词“column *** does not exist”:场景描述
    场景描述 全量同步期间DRS任务报错，同步日志界面提示：service DATAMOVE failed, cause by: retry structures failed events=the fail structures are [type=function, index=0, schema_name=%s, object_name='%s']reason:[ERROR: column '%s' does not exist Position: %s]
    数据复制服务 DRS
  • 数据复制服务 DRS-全量阶段失败报错，关键词“Table *** already exists”:场景描述
    场景描述 全量迁移或同步期间DRS任务报错，日志提示信息：service DATAMOVE failed, cause by: apply event=[type=table_rename_or_copy, index=null, schema_name=%s, object_name=%s] occur error, msg=rename table %s. %s error: Table '%s ' already exists。
    数据复制服务 DRS
  • 数据复制服务 DRS-灾备阶段失败报错，关键词“A dml without pk write target db fail”:解决方案
    解决方案 如果是无主键表原因，需要将无主键表修改为主键表，并重新创建DRS任务完成灾备。 如果源端为RDS for MySQL老版本（5-5.7.23），有无主键表隐藏主键的特性，请参考以下步骤处理： 使用有process权限的账号，在源端执行以下SQL语句查询表信息，其中database/table为无主键表的库名与表名（如果是分区表需要用like查询）。 select * from information_schema.INNODB_SYS_TABLES where name = 'database/table'; 根据1中获得的TABLE_ID，执行以下SQL查询该无主键表的列信息。 select * from information_schema.INNODB_SYS_COLUMNS where TABLE_ID = 44; 根据查询结果，可以看出pos为2的第三列是隐藏自增主键列。如果binlog中隐藏主键列不在最后一列，会导致DRS任务同步失败。 登录RDS控制台，参考升级内核小版本或联系RDS客服，升级RDS任务版本。 重新创建DRS任务完成灾备。
    数据复制服务 DRS MySQL为源实时灾备
共100000条
undefined

搜索反馈

您找到想要的内容了吗?

是的 没有

意见反馈

0/200

提交 取消

提交成功！非常感谢您的反馈，我们会继续努力做到更好 反馈提交失败！请稍后重试！
推荐文章