检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DRS实时同步支持使用Online DDL工具吗 使用场景 MySQL为源的迁移或同步任务,在增量阶段使用第三方拷表方式实现的Online DDL工具(如PT-OSC、GH-OST)在源库执行DDL,会先创建临时表,通过临时表做DDL,针对这个情况,使用DRS进行迁移或同步时,可分为以下三种场景:
源数据库binlog格式检查 检查源数据库Binlog格式。MySQL增量迁移时,源数据库的Binlog日志必须打开,且Binlog日志格式必须为row格式。 不通过原因 源数据库的Binlog格式不是row格式。 处理建议 如果源数据库为本地自建MySQL,可通过如下方法,修改源数据库Binlog格式:
灾备方向转换 双主灾备中,为了防止DDL回环,只有正向任务支持DDL,反向不支持DDL。针对该特点,DRS提供修改任务方向功能,用户可使用此功能调换任务角色,实现反向的DDL。 约束限制 仅支持双主灾备进行方向转换。 正向、反向任务均为暂停状态时,才能进行方向转换。 方向转换后,需要续传任务使转换生效。
Kafka消息格式 同步到Kafka集群中的数据以Avro、JSON和JSON-C格式存储。不同链路支持的数据格式可参考表1: 表1 支持的数据格式 数据流向 Avro JSON JSON-C MySQL->Kafka 支持 支持 支持 Oracle->Kafka 支持 支持 暂不支持
数据对比(对比迁移项) 对比迁移项可以清晰反馈出源数据库和目标数据库的数据是否存在差异。为了尽可能减少业务的影响和业务中断时间,数据库实时迁移场景提供了完整的迁移对比流程,帮助您确定合适的业务割接时机。 图1 迁移对比流程 对比使用场景 迁移对比功能支持以下几种对比方式: 对象级
数据加工 数据复制服务支持对同步的对象进行加工,即可以为选择的对象添加规则。各链路支持的加工规则不一样,目前仅部分链路支持数据加工,支持数据加工链路参考表1,具体操作方法可参考对应的内容。 表1 支持数据加工的链路 同步方向 数据流向 数据过滤 附加列 列加工 入云 MySQL->MySQL
审计日志格式说明 创建DRS录制回放任务时,源数据库引擎可选不同来源。不同源数据库来源对应的审计日志格式不同,具体说明可参考如下说明。 表1 审计日志参数说明 参数 说明 quo 包裹符号,一般审计日志中的SQL是会被该符号包裹起来。 column 每行总列数。 separator
货币金额格式是否一致 PostgreSQL同步时,源数据库和目标数据库的货币金额格式是否一致,若不一致,会导致同步失败。 不通过原因 源数据库和目标数据库的“lc_monetary”参数值不同。 处理建议 修改数据库“lc_monetary”参数值,使源库和目标库的货币金额格式保持一致。
Content-Type 是 String 发送的实体的MIME类型。推荐用户默认使用application/json,如果API是对象、镜像上传等接口,媒体类型可按照流类型的不同进行确定。 缺省值:application/json X-Auth-Token 是 String 从IAM服务获取的用户Token。
insert/delete dml=%s, the column size in dictionary=%s 可能原因 源库binlog未开启全镜像。 解决方案 参考常见问题“binlog_row_image参数设置为FULL没有立即生效”。 父主题: MySQL->MySQL实时迁移和同步
Content-Type 是 String 发送的实体的MIME类型。推荐用户默认使用application/json,如果API是对象、镜像上传等接口,媒体类型可按照流类型的不同进行确定。 缺省值:application/json X-Auth-Token 是 String 从IAM服务获取的用户Token。
弹性云服务器 ECS”。 单击“购买云服务器”。 配置弹性云服务器参数。 选择通用计算型s6.xlarge.2 4vCPUs |8GiB规格。 选择镜像和磁盘规格。 单击“下一步:网络配置”。 选择在创建VPC和安全组创建的VPC和安全组。 选择购买弹性公网IP,公网带宽选择“按流量计费”
录制回放主要分为录制、回放两个阶段,录制过程是从源数据库上将所需时间段内的全部SQL原语句(包括增、删、改、查)通过binlog下载、录制工具等进行采集,以文件形式缓存起来,并往目标数据库注入模拟数据,等待用户执行回放;用户可以在DRS任务上手工触发回放,观察目标数据库的性能表现。
源库binlog_format格式没有设置ROW。 源库binlog_format格式设置ROW后没有立即生效。 解决方案 通过MySQL官方客户端或者其它工具登录源数据库。 在源数据库上执行全局参数设置命令。 set global binlog_format = ROW; 在源数据库上执行如下命令确认上面操作已执行成功。
用的还是非ROW格式的binlog写入。 安全设置global级binlog_format=ROW的步骤 通过MySQL官方客户端或者其它工具登录源数据库。 在源数据库上执行全局参数设置命令。 set global binlog_format = ROW; 在源数据库上执行如下命令确认上面操作已执行成功。
源库binlog_format格式没有设置ROW。 源库binlog_format格式设置ROW后没有立即生效。 解决方案 通过MySQL官方客户端或者其它工具登录源数据库。 在源数据库上执行全局参数设置命令。 set global binlog_format = ROW; 在源数据库上执行如下命令确认上面操作已执行成功。
字段编码 这条变更记录对应的字符集编码。 前镜像 这条变更记录变更之前的各个字段的值。对于insert操作,没有前镜像值。 后镜像 这条变更记录变更之后的各个字段的值。对于delete操作,没有后镜像值。 update操作的前镜像和后镜像都有值。 对于操作类型为DDL的记录,只有字
目业务中,让各责任组织及时了解各自的成本情况。 华为云成本中心支持通过多种不同的方式对成本进行归集和重新分配,您可以根据需要选择合适的分配工具。 通过关联账号进行成本分配 企业主客户可以使用关联账号对子客户的成本进行归集,从而对子账号进行财务管理。详细介绍请参见通过关联账号维度查看成本分配。
cnf配置文件,将binlog_row_image参数值修改为FULL后保存。 binlog_row_image=full 为防止继续生成非全镜像日志导致任务失败,需选择一个非业务时间段,重启源数据库即可。 父主题: 数据库参数检查
资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Regio