检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
入管理中心页面。 在“数据连接”页面，单击“创建数据连接”按钮。 图2 数据连接 在弹出窗口中，配置数据连接参数，完成配置后，单击“确定”完成数据连接的创建。 此处创建MapReduce服务 （MRS Hive）数据连接，参数配置如图3所示。 数据连接类型：MapReduce服务（MRS
设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 超时重试 最大重试次数 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明： 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后，系统支持再重试。
Each循环执行的节点，让CDM子作业循环执行，并配置节点属性参数。 配置MRS Spark SQL节点的属性参数，并关联已创建的脚本maxtime。 图3 配置MRS Spark SQL节点属性参数 配置For Each节点的属性参数，并关联已创建的CDM子作业。 图4 配置For Each节点参数
选择CDM集群名称，CDM集群提供代理连接的功能。 如果选择的CDM集群与第三方服务处于同一个VPC下，那么Rest Client可以调用租户面的API。 说明： 代理集群可选多个，其中只要有一个集群可以正常连接即可。如果有多个集群可正常连接，则数据开发后台会随机选择一个用于连接。 URL地址 是
新建数据连接 Y Y N N 删除数据连接 Y Y N N 操作数据连接 Y Y Y N 查询数据连接 Y Y Y Y 编辑数据连接 Y Y N N 删除RDS驱动包 Y N N N 操作RDS驱动包 Y N N N 查询RDS驱动包 Y Y Y Y 新建DLI资源映射配置 N N
300000 全量阶段连接Mysql的socket超时时间，默认为5分钟。当Mysql负载较高，作业出现SocketTimeout异常时，考虑增大该值。 jdbc.properties.connectTimeout int 60000 全量阶段连接Mysql的连接超时时间，默认为1分
数据服务API接口，访问“测试APP”，填写了相关参数，但是后台报错要怎么处理？ 可能原因 未配置参数header parameter。 解决方案 在调用API时配置参数header parameter。 header parameter: x-Authorization, nvalid
关系型数据库，如MySQL/PostgreSQL等（可使用RDS类型连接，采集其元数据） 云搜索服务CSS 图引擎服务GES 对象存储服务OBS MRS Hudi组件（MRS Hudi作为一种数据格式，元数据存放在Hive中，操作通过Spark进行。在Hudi表开启“同步hive表配置”后，可通过采集MRS Hive元数据的方式采集Hudi表的元数据）
在“通知管理”页签，单击“通知配置”，弹出“通知配置”页面，配置如表1所示的参数。 图1 通知配置 表1 通知参数 参数 是否必选 说明 作业范围 是 选择通知的范围： 单个作业：对单个作业发送通知。 所有作业：对所有作业发送通知。所有作业指当前已有的作业和后续新创建的作业会使用这个通知配置。 作业名称
作业编排好之后，您可以通过测试运行来测试作业编排是否正确。 您可以根据需要，配置作业的调度方式。单击右侧“调度配置”页签，展开配置页面。当前支持单次调度、周期调度和事件驱动调度作业。 图18 配置作业的调度方式 调度配置完成后，您需要单击“保存”按钮保存作业并单击“提交”按钮提交作业版本
http-connector：HTTP/HTTPS连接，该连接暂无连接参数。 dms-kafka-connector：DMSKafka连接。 name String 作业名称，长度在1到240个字符之间。 from-link-name String 源连接名称，即为通过“创建连接”接口创建的连接对应的连接名。 creation-user
中心”模块，进入管理中心页面。 在“数据连接”页面，单击“创建数据连接”按钮。 图1 数据连接 在弹出窗口中，配置数据连接参数，完成配置后，单击“确定”完成数据连接的创建。参数配置如图2所示。 数据连接类型：数据仓库服务（DWS） 数据连接名称：dws_link 标签：可选参数。
JSON文件保存到本地。 由于安全原因，CDM导出作业时没有导出连接密码，连接密码全部使用“Add password here”替换。 在本地编辑JSON文件，将“Add password here”替换为对应连接的正确密码。 将编辑好的JSON文件批量导入到CDM集群2，实现集群1和集群2之间的作业同步。
文档。 表3 数据表参数 参数 说明 数据连接类型 数据表所属的数据连接类型。 数据连接 数据表所属的数据连接。 数据库 数据表所属的数据库。 单击“保存”，新建数据表。 相关操作 查看表详情：在脚本开发导航栏，选择，展开下方的数据连接至数据表层级，右键单击表名称，选择“查看表详情”，可查看如表4所示的数据表信息。
解析响应消息体中的流 导出作业和导出连接的接口响应消息是一个流，需要转化为一个文件。 您可以参考下面的样例代码： String EXPORT_JOB_URL = "https://{endpoint}/v1/{project_id}/jobs/{job_name}/export";
（可选）如需要将质量作业中不符合设定规则的异常数据存储在异常表中，可以打开“异常数据输出配置”开关。 图6 异常数据输出开关 单击开关，并打开“生成异常数据”按钮，表示异常数据将按照配置的参数存储到规定的库中。 图7 异常数据输出配置 各参数具体含义如下： 数据库或Schema：表示存储异常数据的数据库或Schema。
如果作业运行正常，单击“调度配置”，配置作业的调度策略。 图10 调度配置 说明： 2022/02/09至2022/02/28，每天1点00分执行一次作业。 依赖属性：可以配置为依赖其他作业运行，本例不涉及，无需配置。 跨周期依赖：可以选择配置为依赖上一周期或者不依赖，此处配置为不依赖即可。
总览”，单击并进入“资产报告”页面。 首次进入“资产报告”页面，需要配置资产报告任务。单击右上方的配置图标，弹出配置窗口。 依次选择生效时间、调度周期和调度具体时间，系统将按配置的时间调度运行资产报告任务，更新资产报告内容。 图2 配置资产报告任务 系统调度运行资产报告任务后，重新进入“资产
后的输入框配置参数值。参数值支持使用EL表达式。 若关联的SQL脚本，脚本参数发生变化，可单击刷新按钮同步。 数据连接 是 默认选择SQL脚本中设置的数据连接，支持修改。 数据库 是 默认选择SQL脚本中设置的数据库，支持修改。 运行程序参数 否 为本次执行的作业配置相关优化参数
Oracle到DWS参数调优 源端优化 Oracle抽取优化 暂无优化配置项。 目的端优化 DWS写入优化 可通过在DWS的目的端配置中修改写入相关配置，且可以通过单击高级配置的“查看编辑”按钮，添加高级属性。 图1 添加高级属性 表1 DWS写入优化参数 参数名 类型 默认值 说明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
