检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不同VPC场景下,如何实现源库和目标库的网络互通 DRS支持通过多种方式的网络进行数据迁移,包括:VPC网络、VPN网络、专线网络和公网网络,其中VPC网络适合云上同Region数据库之间的迁移。 源数据库所在的区域要和目标数据库实例所在的区域保持一致。 源数据库可以和目标数据库在同一VPC内,也可以在不同VPC内。
异常状态下的任务仍然会计费,而长时间异常的任务无法续传和恢复。设置任务异常自动结束天数后,异常且超时的任务将会自动结束,以免产生不必要的费用。 同步任务提交后,您可在“实时同步管理”页面,查看并管理自己的任务。 您可查看任务提交后的状态,状态请参见任务状态说明。 在任务列表的右上角,单击刷新列表,可查看到最新的任务状态。
调用接口出错后,将不会返回结果数据。调用方可根据每个接口对应的错误码来定位错误原因。 当调用出错时,HTTP请求返回一个HTTP状态码。返回的消息体中是具体的错误编码及错误描述信息。 当您调用API时,如果遇到“APIGW”开头的错误码,请参见API网关错误码进行处理。 表1 v3接口错误码
如果为自建的MySQL数据库,可通过命令行方式修改。 通过以下命令查看数据库的字符集。 SHOW VARIABLES LIKE "group_concat_max_len"; 使用命令修改参数。 SET SESSION group_concat_max_len = <新的最大长度>;
源数据库binlog格式检查 检查源数据库Binlog格式。MySQL增量迁移时,源数据库的Binlog日志必须打开,且Binlog日志格式必须为row格式。 不通过原因 源数据库的Binlog格式不是row格式。 处理建议 如果源数据库为本地自建MySQL,可通过如下方法,修改源数据库Binlog格式:
由于本次实践为增量同步模式,DRS任务会将源库的产生的增量数据持续同步至目标库中,直到手动任务结束。下面我们通过在源库RDS for MySQL中插入数据,查看Kafka的接收到的数据来验证同步结果。 操作步骤 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击左侧的服务列表图标,选择“数据库
考MySQL迁移使用须知,重建任务。 检查迁移使用的账号对源库的表是否有执行SHOW CREATE TABLE操作的权限,如果不具备则参考MySQL迁移使用须知,为源库迁移账户赋予操作权限,然后在任务列表中,单击任务对应操作列的“续传”,重新提交任务。 父主题: MySQL->MySQL实时迁移和同步
参数类型 描述 delete_type 是 String terminate:结束迁移任务,force_terminate:强制结束迁移任务,delete:删除迁移任务。 取值: terminate force_terminate delete 说明: 包年/包月任务需要先手动退订,然后
基于范围的分片方式或者基于哈希的分片方式。 表1 分片键分类 分片键类型 描述 使用场景 基于范围的分片键 基于范围的分片键是根据分片键值把数据分成一个个邻接的范围,如果没有指定特定的分片类型,则基于范围的分片键是默认的分片类型。 特点:基于范围的分片键对于范围类型的查询比较高效
在您通过成本中心了解和分析您的成本情况后,您可以确定成本偏高的原因,然后采取针对性的优化措施。 资源优化 通过CES查看DRS监控指标,及时修复失败任务、删除闲置的任务。 如果您的业务对性能稳定性要求较低,可以考虑购买较小规格的任务,以此来降低您的成本。 计费模式优化 不同类型的业务对资源使用
数据库参数sql_mode的一致性检查 源数据库和目标数据库的sql_mode参数一致性检查,若不一致,可能会导致迁移失败,建议将参数变为一致。 不通过原因 源数据库和目标数据库的sql_mode参数不一致。 处理建议 修改源数据库或者目标数据库的sql_mode参数,使其保持一致。
查询规格未售罄的可用AZ信息 功能介绍 查询规格未售罄的可用区。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v3/{project_id}/available-zone
nspname='public') order by n.nspname, c.relname; 查询结果为需要在目标数据库中执行的sql语句。 使用对应DRS任务的目标数据库的用户连接该任务同步的目标数据库,在目标库中执行步骤1中查询出的sql语句。 在目标库中执行如下语句,检查序列值同步结果。 SELECT
同步到GaussDB(DWS)的使用建议 增量DDL支持度 MySQL、Oracle等数据库语法与GaussDB(DWS)不同,增量阶段DDL同步存在失败的可能性,部分DDL转换规则可参考表1,建议在方案实施前联系GaussDB(DWS)技术支持评估DDL的支持度。 表1 DDL转换规则 语法转换点 转换结果
如何确保业务数据库的全部业务已经停止 业务切换时可通过如下方法确保业务数据库的全部业务已经停止: 在源数据库端执行如下语句,查看当前是否还存在有业务连接 。 show processlist; 图1 查看是否存在业务连接 可选:如果源数据库有业务连接,则通过结果中Host列的值来查找对应的业务进程并将其停止。
务场景选择对应的数据进行同步。 说明: 选择对象的时候支持对展开的库进行搜索,以便您快速选择需要的数据库对象。 如果有切换源数据库的操作或源库同步对象变化的情况,请在选择同步对象前单击右上角的,以确保待选择的对象为最新源数据库对象。 当对象名称包含空格时,名称前后的空格不显示,中间如有多个空格只显示一个空格。
PostgreSQL同步时,源数据库和目标数据库的货币金额格式是否一致,若不一致,会导致同步失败。 不通过原因 源数据库和目标数据库的“lc_monetary”参数值不同。 处理建议 修改数据库“lc_monetary”参数值,使源库和目标库的货币金额格式保持一致。 如果为自建的数据库,可通过命令行方式修改: SET
MyISAM对数据完整性的保护存在缺陷,且这些缺陷会导致数据库数据的损坏甚至丢失。 MyISAM在出现数据损害情况下,很多都需要手动修复,无法通过产品服务提供的恢复功能进行数据恢复。 MyISAM向InnoDB的迁移透明,大多数情况不需要改动建表的代码,云数据库自动转换InnoDB即可完成迁移。
ANY SEQUENCE权限),源数据库为Oracle的增量迁移还需要日志解析权限。本小节主要介绍如何使用DRS设置最小化权限且独立的Oracle账号的具体操作。 全量迁移模式。 创建一个用户用于迁移,此处以User1为例。 参考命令:CREATE USER User1 IDENTIFIED
P、OLTP到大数据组件的数据实时同步。全量和增量的数据同步和实时迁移的技术原理基本一致,但是基于不同的业务使用场景,两个功能还是有些差异。 实时同步支持异构数据库,针对异构数据库结构同步,DRS服务会通过语法转换,将源数据库的结构定义语句转换为目标库的结构定义语句在目标数据库执