检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
内容对比:会查询源库及目标库的全部数据,涉及每个字段都会对比,所以会对数据库产生一定的查询压力,主要体现在IO上,查询速度受限于源库和目标库的IO和网络带宽。占用1-2个CPU,占用10个左右的session的连接数。 用户对比:会查询源库及目标库的账户和权限,基本不会对数据库产生影响。 父主题: 数据对比
标数据库GaussDB的数据长期同步。 解决问题 企业业务高速发展,传统数据库扩容性差,迫切需要分布式化改造。 传统数据库需要自购并安装服务器、系统、数据库等软件,运维成本高、难度大。 传统数据库性能瓶颈问题,复杂查询性能较差。 如何不中断业务并且平滑的实现数据迁移。 业务架构图
据迁移,最终业务割接至GaussDB。 解决问题 企业业务高速发展,传统数据库扩容性差,迫切需要分布式化改造。 传统数据库需要自购并安装服务器、系统、数据库等软件,运维成本高、难度大。 传统数据库性能瓶颈问题,复杂查询性能较差。 如何不中断业务并且平滑的实现数据同步。 迁移原理
为避免占用资源,DRS任务的对比结果限制保留60天,60天后自动清除。 对于支持内容对比的灾备链路,如果创建任务时可以选择实例规格,那么仅支持大规格及以上规格进行内容对比。 MySQL、GaussDB(for MySQL)为源链路,源数据库中的虚拟列不支持内容对比,对比时会过滤虚拟列。
视情况勾选。 选择增量冲突策略。 忽略:当同步数据与目标库已有数据冲突时(主键/唯一键重复等),DRS将忽略源库的冲突数据,并保留目标库中的冲突数据,继续进行后续同步。选择忽略可能导致源库与目标库数据不一致。 报错:当同步数据与目标库已有数据冲突时(主键/唯一键重复等),同步任务
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
如何将源数据库的用户与权限导出,再导入到目标数据库 选择一台可以访问源数据库的虚拟机。 执行如下命令后,输入密码并回车,将源库用户导出到临时文件“users.sql”中。 mysql -h 'host' -u 'user' -p -N $@ -e "SELECT CONCAT('SHOW
份的总开销,以“DRS迁移服务器”为例,建议您核对表2所示的信息是否和实际相符。 表2 数据复制服务DRS明细账单 产品类型 数据复制服务DRS 产品 DRS迁移服务器 计费模式 按需 资源名称/ID DRS任务名称/任务ID 规格 DRS同步中型规格(y2y) 使用量类型 按需
由于MySQL固有特点限制,CPU资源紧张时,存储引擎为Tokudb的表,读取速度可能下降至10%。 DRS并发读取数据库时,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。 在网络无瓶颈的情况下,全量迁移会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。 更多
目标数据库是否存在与源数据库同名的对象 MySQL->PostgreSQL同步场景 表1 目标数据库是否存在与源数据库同名的对象 预检查项 目标数据库是否存在与源数据库同名的对象。 描述 校验用户提供的目标数据库是否存在与源数据库同名的表,避免已存在的表被覆盖。若存在,则无法迁移。
实施步骤 自建MySQL服务器 上云操作 父主题: ECS自建MySQL迁移到GaussDB(for MySQL)
源库与目标库的BLOCK_SIZE参数值是否相同 PostgreSQL同步时,目标库的BLOCK_SIZE参数值必须大于或等于源库BLOCK_SIZE的参数值,否则可能会导致同步失败。 不通过原因 目标库的BLOCK_SIZE参数值小于源库的BLOCK_SIZE参数值。 处理建议
上云操作 本章节通过购买GaussDB(for MySQL)实例、创建DRS迁移任务,将自建MySQL服务器的数据迁移到GaussDB(for MySQL)实例。 创建GaussDB(for MySQL)实例 创建DRS迁移任务 确认数据迁移结果 父主题: 实施步骤
由于MySQL固有特点限制,CPU资源紧张时,存储引擎为Tokudb的表,读取速度可能下降至10%。 DRS并发读取数据库时,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。 更多
DATAMOVE failed, cause by: GC overhead limit exceeded 可能原因 业务存在大数据字段导致同步任务内存超限。 解决方案 请联系华为工程师处理。 父主题: PostgreSQL->PostgreSQL实时同步
subnet-default 自定义,易理解可识别。 ECS ECS名称 ecs-mongodb 自定义,易理解可识别。 规格 s6.xlarge.2 4vCPUs|8GiB 本示例中选择的规格。 实际选择的规格需要结合业务场景选择,请参考弹性云服务器的实例规格。 操作系统 CentOS 7.6
VPC1与VPC2创建对等连接,默认情况下VPC2不能通过VPC1的EIP访问公网。您可以通过使用NAT网关服务或配置SNAT服务器,使得VPC2下的弹性云服务器可以通过VPC1下绑定了EIP的弹性云服务器访问Internet。具体实现方式请参见无公网IP的弹性云服务器访问Internet。
测试连接”,分别测试并确定与源库和目标库连通后,勾选协议,单击“下一步”。 入云和出云场景中源库和目标库需要填选的信息不同,具体以界面为准。 自建DNS服务配置(选填) 图7 自建DNS服务器 表5 自建DNS信息 参数 描述 是否配置自建DNS服务器 当用户需要填写自建的内网域
0版本的binlog_row_image参数默认值为FULL,您无需进行设置。 如果源数据库为本地自建库,请参考如下步骤修复。 登录MySQL源数据库所在服务器。 手动修改my.cnf配置文件,将binlog_row_image参数值修改为FULL后保存。 binlog_row_image=full
本地自建数据库(Oracle 10g、11g、12c、18c、19c、21c版本) ECS自建数据库(Oracle 10g、11g、12c、18c、19c、21c版本) Kafka 使用建议 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同