检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
age > 18 and age <= 60 高级属性 先导入阶段表 如果选择“是”,则启用事务模式迁移,CDM会自动创建临时表,先将数据导入到该临时表,导入成功后再通过数据库的事务模式将数据迁移到目标表中,导入失败则将目的表回滚到作业开始之前的状态,具体请参见事务模式迁移。
步骤1:数据准备 使用DataArts Studio前的准备 如果您是第一次使用DataArts Studio,请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例(DataArts Studio企业版)、创建工作空间等一系列
例如上图表示:从2023年1月1日0时0分开始第一次自动执行作业,每30分钟自动执行一次,2023年12月31日23时59分之后不再自动执行。 小时 CDM支持配置每几小时执行一次作业。 重复周期(时):表示每多少个小时自动执行一次定时任务。 触发时间(分):表示每小时的第几分钟
查询作业实例列表 功能介绍 查询作业实例列表。 对于配置了周期调度或事件触发调度的批处理作业,触发一次运行就会生产一个作业实例。如果实时作业里面包含了配置周期调度或事件触发调度节点,可以通过此接口查询节点所关联的子作业的实例列表,参数jobName格式为[实时作业名称]_[节点名称]。
age > 18 and age <= 60 高级属性 先导入阶段表 如果选择“是”,则启用事务模式迁移,CDM会自动创建临时表,先将数据导入到该临时表,导入成功后再通过数据库的事务模式将数据迁移到目标表中,导入失败则将目的表回滚到作业开始之前的状态,具体请参见事务模式迁移。
删除操作不可撤销,请谨慎操作。 参数说明 表5 DLI数据表 参数 是否必选 说明 基本属性 表名 是 数据表的名称。只能包含英文字母、数字、“_”,但不能为纯数字,且不能以“_”、数字开头。 别名 否 数据表的别名。只能包含中文、英文字母、数字、“_”,但不能为纯数字,且不能以“_”开头。 数据连接类型 是
数据源安全组放通哪些端口可满足Migration访问? Hudi 如何配置Hudi Compaction的Spark周期任务? DWS MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? MySQL到DWS实时同步中,DWS为什么需要对主键null值进行过滤? Kafka Kafka到DLI实时同步中,作业运行失败,报“Array
表1 获取驱动 关系数据库类型 驱动名称 获取地址 建议版本 云数据库 MySQL MySQL MYSQL https://downloads.mysql.com/archives/c-j/ 5.1.48版本,获取mysql-connector-java-5.1.48.jar Oracle
and age <= 60 高级属性 整库迁移时无该参数。 先导入阶段表 如果选择“是”,则启用事务模式迁移,CDM会自动创建临时表,先将数据导入到该临时表,导入成功后再通过数据库的事务模式将数据迁移到目标表中,导入失败则将目的表回滚到作业开始之前的状态。 默认为“否”,CDM直接
DM上创建MySQL连接时输入这个地址和端口)。 映射地址、映射端口:配置为内网MySQL的地址和端口。 图2 配置端口映射 单击“增加”,添加端口映射关系。 单击“开始映射”,这时才会真正开始映射,接收数据包。 至此,就可以在CDM上通过弹性IP读取本地内网MySQL的数据,然后导入到云服务DWS中。
UPSERT:数据存在则更新,不存在则新增。 INSERT 高级属性 先导入阶段表 如果选择“是”,则启用事务模式迁移,CDM会自动创建临时表,先将数据导入到该临时表,导入成功后再通过数据库的事务模式将数据迁移到目标表中,导入失败则将目的表回滚到作业开始之前的状态,具体请参见事务模式迁移。
时。 图1 返回总条数 解决方案 在分页查询时,您可以通过参数(参数名use_total_num)控制是否计算并返回数据总条数。 例如,第一次查询时添加入参use_total_num=1获取数据总条数,后续再次请求接口时添加入参use_total_num=0不获取数据总条数。 图2
配置作业的通用项。 图3 通用配置 表1 通用配置 参数 说明 节点状态轮询时间 设置所选作业的所有节点轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 如果设置为保持不变,则各节点保持原来的节点轮询时间。 节点执行的最长时间 设置所选作业的所有节点执行超时时间,如果节点
默认规格(条) 配置类API 调试API DLI/MySQL/RDS/DWS 10 调用API DLI/MySQL/RDS/DWS 100 脚本类API 测试SQL - 10 调试API DLI 默认分页:100 自定义分页:1000 MySQL/RDS/DWS 默认分页:10 自定义分页:2000
交互情况按顺序读取参数值。 read -p语法的使用示例: read -p “输入参数1和参数2”变量1 变量2 节点名称 是 节点名称,只能包含英文字母、数字、中文字符、中划线、下划线、/、<>和点号,且长度小于等于128个字符。 默认情况下,节点名称会与选择的脚本名称保持同步
2}为${Schema_Table2}中所选的字段。系统支持对定义关系进行语义校验。 在自定义规则模板时,在定义关系时,如果出现非数字时,只能输出运行结果,不能进行四则运算、逻辑运算和绝对值。 自定义规则模板的定义关系目前最多支持10张表20个字段。 自定义的SQL表达式有如下要求:
*表编码 码表的英文名称。只能包含英文字母、数字、下划线,且以英文字母开头。 表描述 码表的描述信息。支持的长度0~600个字符。 *字段名称 字段名称。只能包含中文、英文字母、数字、左右括号、空格、中划线和下划线,且以中文或英文字母开头。 *字段编码 字段编码。只能包含英文字母、数字、下划线,且以英文字母开头。
SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未设置MRS作业名称且选择直连模式时,节点名称只能由英文字母、数字、中划线和下划线组成,长度不能超过64个字符,不能包含中文字符。 系统支持MRS作业名称按照作业名称_节点名称格式自动填入。
表4 关联质量规则Sheet页参数说明 参数名 参数说明 *表名称 表英文名称,只能包含英文字母、数字、下划线、$、{、},且不能以数字开头。 *属性名称(ENG) 表中的属性字段的英文名称。只能包含英文字母、数字和下划线,且以英文字母开头。 规则名称 填写已有的规则名称。在DataArts
Hive迁移作业长时间卡顿怎么办? 使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理? MySQL迁移时报错“JDBC连接超时”怎么办? 创建了Hive到DWS类型的连接,进行CDM传输任务失败时如何处理? 如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? 如何处理CDM从OB