检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分布式消息服务Kafka 数据复制服务 DRS 数据管理服务 DAS 部署架构 本示例中,DRS源数据库为华为云RDS for MySQL,目标端为华为云同Region下的分布式消息服务Kafka,通过VPC网络,将源数据库的增量数据同步到目标端,部署架构可参考图1。 图1 同VPC场景 使用说明 本
S和源库、目标库的连接,请注意暂停过长可能会因为源端所需日志过期而导致任务无法恢复续传。建议暂停时间不超过24小时,具体时间请排查相应日志配置。 暂停成功后,状态栏显示为“已暂停”。 需要继续同步时,可以使用续传功能。 批量暂停 在“实时同步管理”页面的同步任务列表中,选择需要暂停的任务。
GaussDB(for MySQL)-Kafka,MySQL-Kafka支持任务状态为INCRE_TRANSFER_STARTED时修改Kafka策略配置,修改配置后需等任务状态为INCRE_TRANSFER_STARTED时再进行编辑同步对象操作。 URI POST /v3/{project_i
数据复制服务是否采用了压缩技术 压缩技术是提升性能和解决数据膨胀的关键技术,DRS在数据传输和增量数据存储两大环节采用了压缩技术。 数据传输压缩:在网络带宽不理想的环境中,进行数据同步与传输,DRS可以开启压缩开关,以减少数据传输对带宽的占用量。 增量数据存储压缩:增量数据转储成
SASL_PLAINTEXT:使用SASL机制连接Kafka,需要设置SASL相关配置。 SSL:使用SSL加密方式连接Kafka,需要设置SSL相关配置。 SASL_SSL:使用SASL及SSL加密认证方式,需要设置SSL及SASL相关参数配置信息。 枚举值: PLAINTEXT SASL_PLAINTEXT
数据复制服务有哪些安全保障措施 网络 使用安全组确保访问源可信。 使用SSL通道,确保数据传输加密。 管理 通过统一身份认证服务(Identity and Access Management,简称IAM),可以实现对数据复制服务的管理权限控制。 父主题: 网络及安全
数据复制服务是否采用了并发技术 并发技术是提升性能的关键技术,DRS在多个环节采用了并发技术,总体可以分为两个大类并发技术:读写类并发和线程类并发。 读写类并发 为了提升全量阶段历史数据的搬迁,同时对抗网络的不稳定性,DRS实现了数据行级并发抽取效果,从而使得历史数据搬迁速度最大
21:源库不存在 22:目标库不存在 23:行数为亿行,未进行对比 27:超时 compare_line_config_filter String 行过滤配置条件 请求示例 查询行数对比详情 https://{endpoint}/v3/054ba152d480d55b2f5dc0069e7dde
端为一个DDM关联两个RDS for MySQL实例,通过DRS将源端数据迁移至目标端,并在手动结束增量同步任务前持续同步源端数据。整体的部署架构可参考图1。 图1 方案架构 方案优势 采用全量+增量的迁移方式,保证数据迁移过程中业务不中断,数据不丢失。 通过服务化迁移,免去了传
目前,DRS支持的网络类型有公网网络、VPC网络、VPN网络和专线网络,不同场景下,用户可根据情况进行选择。 原理上DRS采用JDBC连接,无需在用户的源数据库、目标数据库节点部署程序,只需用户的源数据库和目标数据库允许DRS实例节点通过所选择的网络访问和连接即可。 例如,用户需要将A账号的RDS-A实例迁移到B账号
主灾备。 前提条件 拥有华为云实名认证账号。 账户余额大于等于0元。 实现原理 RDS跨Region容灾实现原理说明: 在两个数据中心独立部署RDS for MySQL实例,通过DRS服务将生产中心RDS for MySQL库中的数据同步到灾备中心RDS for MySQL库中,实现RDS
'postgis'; 解决方案 插件对象不同步,同步前请先在目标库安装相应的插件。请按照如下步骤,安装插件后,再重试DRS任务。 使用root用户登录目标库RDS for PostgreSQL的相应库(database)。 执行如下SQL,安装postgis插件。 create extension
划线和下划线(待还原库名还支持中文),不能包含其他特殊字符。 此处,数据复制服务还提供待还原数据库别名设置的功能。 在“确认信息”页面核对配置详情后,勾选协议,单击“下一步”。 在“备份迁移管理”页面任务列表中,观察对应的恢复任务的状态为“恢复中”,恢复成功后,任务状态显示“成功”。
MySQL实例。 介绍如何将其他云MySQL迁移到RDS for MySQL实例。 前提条件 拥有华为云实名认证账号。 账户余额大于等于0元。 部署架构 图1 部署架构图 服务列表 虚拟私有云 VPC 云数据库RDS 数据复制服务 DRS 使用说明 本实践的资源规划仅作为演示,实际业务场景资源以用户实际需求为准。
DRS发送Kafka消息序列化方式是什么 DRS发送到Kafka的数据,key序列化器是org.apache.kafka.common.serialization.StringSerializer,value序列化器是org.apache.kafka.common.serialization
源库无主键表检查 MySQL迁移、灾备场景 表1 源迁移库无主键表检查 预检查项 源迁移库无主键表检查。 描述 在进行MySQL迁移时,源数据库若存在无主键表,可能会导致迁移失败。 待确认提示及处理建议 待确认原因:源数据库迁移的表中存在无主键表。 处理建议:无主键表由于缺乏行的
'hstore'; 解决方案 插件对象不同步,同步前请先在目标库安装相应的插件。请按照如下步骤,安装插件后,再重试DRS任务。 使用root用户登录目标库RDS for PostgreSQL的相应库(database)。 执行如下SQL,安装hstore插件。 create extension
的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。Token可通过调用获取用户Token接口获取。 云服务存在两种部署方式:项目级服务和全局级服务。 项目级服务需要获取项目级别的Token,此时请求body中auth.scope的取值为project。 全
目标数据库是否存在和源数据库同名的数据库 MySQL迁移场景 表1 目标数据库是否存在和源数据库同名的数据库 预检查项 目标数据库是否存在和源数据库同名的数据库 描述 校验用户提供的目标数据库是否存在与源数据库相同的数据库。 不通过提示及处理建议 不通过原因:源数据库连接失败,导致该项检查无法进行。
PostgreSQL同步场景 表1 扩展插件合法性检查 预检查项 扩展插件合法性检查。 描述 检查目标数据库是否缺少源数据库所安装的插件。 不通过提示及处理建议 不通过原因:源数据库中已安装的扩展插件,在目标数据库中不支持。 处理建议: 如果源数据库中没有业务这些插件,请在源数据库中删除该插件。参