检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MySQL同步到DMS Kafka作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 MySQL数据库(5.6、5.7、8.x版本) DMS Kafka集群(2.7、3.x版本) 数据库账号权限要求 在使用Migration进行同步时,源端和
在开启审批开关后,需要填写该字段。表示创建脚本的目标状态,有三种状态:SAVED、SUBMITTED和PRODUCTION,分别表示脚本创建后是保存态,提交态,生产态。 保存态表示脚本仅保存,无法调度运行,需要提交并审核通过后才能运行。 提交态表示脚本保存后会自动提交,需要审核通过才能运行。 生产态表示脚本跳过审批
操作步骤 本小节以RDS for MySQL到DWS的实时同步为示例,介绍如何配置Migration实时集成作业。配置作业前请务必阅读使用前自检概览, 确认已做好所有准备工作。 参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。 选择数据连接类型:源端选MySQL,目的端选DWS。
在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 如要查看某个脚本引用情况,右键单击待查看的脚本,选择“查看引用”,弹出“引用列表”窗口。 如要查看文件夹下的所有脚本引用情况,右键单击待查看的文件夹,选择“查看引用”,弹出“查看引用”窗口。 在弹出的窗口,可以查看该脚本或该文件夹下所有脚本被引用的情况。
本小节以RDS for MySQL到MRS Hudi的实时同步为示例,介绍如何配置Migration实时集成作业。配置作业前请务必阅读使用前自检概览, 确认已做好所有准备工作。 参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。 选择数据连接类型:源端选MySQL,目的端选Hudi。
选择目录 选择该脚本目录的父级目录,父级目录默认为根目录。 单击“确定”,新建目录。 新建脚本 在脚本目录中,右键单击目录名称,选择新建相应的脚本。 进入脚本开发页面,具体操作请参见开发SQL脚本、开发Shell脚本、开发Python脚本。 当前最多支持创建5个同类型的临时脚本。当关闭了
开发 > 脚本开发”。 在脚本目录中选择需要重命名的脚本,右键单击脚本名称,选择“重命名”。 图2 重命名 已经打开了的脚本文件不支持重命名。 在弹出的“重命名脚本名称”页面,配置新脚本名称。 图3 重命名脚本名称 单击“确定”,重命名脚本。 父主题: (可选)管理脚本
在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 单击脚本目录中的,选择“显示复选框”。 图1 显示脚本复选框 勾选需要解锁的脚本,单击 > 批量解锁。弹出“解锁成功”提示。 图2 批量解锁 父主题: (可选)管理脚本
Python和Impala SQL脚本。脚本每执行一次,生成一个脚本实例。执行脚本接口是一个异步命令,需要通过查询脚本实例执行结果获取执行状态和结果。 DLI SQL和Presto SQL不支持多语句场景。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST
发布脚本任务 在企业模式中,开发者提交脚本版本后,系统会对应产生一个脚本类型的发布任务。开发者确认发包后,待拥有管理员、部署者、DAYU Administrator、Tenant Administrator权限的用户审批通过,然后将修改后的脚本同步到生产环境。 管理员导入脚本时,选择导入提交态,会生成对应的待发布项。
配置MySQL目的端参数 表1 PostgreSQL作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
策略进行配置。 脚本开发的使用流程如下: 图1 脚本开发流程 新建脚本:新建相应类型的脚本。具体请参见新建脚本。 开发脚本:基于新建的脚本,进行脚本的在线开发、调试和执行。具体请参见开发脚本。 提交版本并解锁:脚本开发完成后,您需要提交版本并解锁,提交版本并解锁后才能正式地被作业
MySQL到DWS参数调优 源端优化 MySQL抽取优化 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下: 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot
Integer 总的脚本个数。 scripts 是 List<Script> 脚本列表。 表3 Script参数说明 参数名 是否必选 参数类型 说明 name 是 String 脚本名称,只能包含五种字符:英文字母、数字、中文、中划线和点号,且长度小于等于128个字符。脚本名称不能重复。
开发脚本 开发SQL脚本 开发Shell脚本 开发Python脚本 父主题: 脚本开发
MySQL到MRS Hudi参数调优 源端优化 MySQL抽取优化 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下: 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot
脚本开发 脚本开发流程 新建脚本 开发脚本 提交版本 发布脚本任务 (可选)管理脚本 父主题: 数据开发
查询脚本实例执行结果 功能介绍 该接口用以获取脚本实例的执行状态和结果。 查询时,需要指定脚本名称和脚本实例ID。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/scripts/{script
MySQL到DMS Kafka参数调优 源端优化 MySQL抽取优化 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下: 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental
选择连接器类型 选择“云数据库 MySQL”后单击“下一步”,配置云数据库 MySQL连接的参数。 图4 创建MySQL连接 单击“显示高级属性”可查看更多可选参数,具体请参见配置云数据库MySQL/MySQL数据库连接。这里保持默认,必填参数如表1所示。 表1 MySQL连接参数 参数名