检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果选择“是”,则启用事务模式迁移,CDM会自动创建临时表,先将数据导入到该临时表,导入成功后再通过数据库的事务模式将数据迁移到目标表中,导入失败则将目的表回滚到作业开始之前的状态,具体请参见事务模式迁移。 默认为“否”,CDM直接将数据导入到目的表。这种情况下如果作业执行失败,已经导入到目标表中的数据不会自动回滚。
MySQL到DWS参数调优 源端优化 MySQL抽取优化 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下: 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot
怎样查看质量规则模板关联的作业? 可能原因 质量规则模板关联的作业不清楚如何查看。 解决方案 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据质量”模块,进入数据质量页面。 选择“数据质量监控 > 规则模板”。 单击待操作规则模板操作列的“发布历史”。
云数据库MySQL/MySQL数据库连接参数说明 连接MySQL数据库连接时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名
MySQL到DWS实时同步中,DWS为什么需要对主键null值进行过滤? 问题描述 MySQL到DWS链路 ,由于DWS的表是手动建立的,主键和MySQL不同。当DWS的主键字段在MySQL 中是非主键字段,如果该字段在MySQL中出现null值那么,写入到DWS中将会报错,报错信息如下:
查询脚本列表 功能介绍 此接口用于查询脚本列表,每次查询返回的脚本数量上限是1000个。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/scripts?offset={offset}&limi
库与表均支持自定义选择,即可选择一库一表,也可选择多库多表。 分库分表 添加逻辑表。 逻辑表名:即最终写入到DWS的表名。 源库过滤条件:支持填入正则表达式,在所有MySQL实例中通过该正则表达式过滤出要写入目标端DWS汇聚表的所有分库。 源表过滤条件:支持填入正则表达式,在过滤出的
判断使用分区表还是非分区表。 根据表的使用场景一般将表分为事实表和维度表: 事实表通常整表数据规模较大,以新增数据为主,更新数据占比小,且更新数据大多落在近一段时间范围内(年或月或天),下游读取该表进行ETL计算时通常会使用时间范围进行裁剪(例如最近一天、一月、一年),这种表通常可以
查询码表列表 功能介绍 查询码表列表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/code-tables 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
如何使用表达式方式获取当前时间? 问题描述 如何使用表达式方式获取当前时间? 解决方案 您可以在字段映射界面使用DateUtils.format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间,更多表达式设置方式可以参考表达式转换。 父主题:
各同步场景下选择需要同步库表的方式请参考表5。 表5 选择需要同步的库表 同步场景 配置方式 整库 选择需要迁移的MySQL库表。 图5 选择库表 库与表均支持自定义选择,即可选择一库一表,也可选择多库多表。 分库分表 添加逻辑表。 逻辑表名:即最终写入到Hudi的表名。 源库过滤条件:
查询作业实例列表 功能介绍 查询作业实例列表。 对于配置了周期调度或事件触发调度的批处理作业,触发一次运行就会生产一个作业实例。如果实时作业里面包含了配置周期调度或事件触发调度节点,可以通过此接口查询节点所关联的子作业的实例列表,参数jobName格式为[实时作业名称]_[节点名称]。
MySQL到DMS Kafka参数调优 源端优化 MySQL抽取优化 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下: 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental
查询申请列表 功能介绍 查询申请列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/applys 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
配置源端参数。 各同步场景下选择需要同步库表的方式请参考下表。 表5 选择需要同步的库表 同步场景 配置方式 整库 选择需要迁移的MySQL库表。 图4 选择库表 库与表均支持自定义选择,即可选择一库一表,也可选择多库多表。 分库分表 添加逻辑表。 逻辑表名:即最终写入到DMS Kafka的Topic名。
查询消息列表 功能介绍 查询审核中心的通知消息列表。与申请不同,通知类消息,无法驳回,仅能在指定的时间范围内作出处理。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/messages 表1 路径参数 参数 是否必选 参数类型 描述
查询API列表 功能介绍 查询API列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/apis 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
查询应用列表 功能介绍 查询应用列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/apps 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
查询作业列表 功能介绍 查询批处理或实时作业列表,每次查询返回的作业数量上限是100。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/jobs?jobType={jobType}&offset
查询资源列表 功能介绍 查询资源列表。查询时,可指定返回页号和每页的最大记录数。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/resources?offset={offset}&limit=