检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
脏数据阈值仅针对每个并发生效。比如阈值为100，并发为3，则该作业可容忍的脏数据条数最多为300。 输入-1表示不限制脏数据条数 100 添加自定义属性 支持通过自定义属性修改部分作业参数及开启部分高级功能，详情可参见任务性能调优章节。 - 提交并运行任务。 作业配置完毕后，单击作业开发页面左上角“提交”，完成作业提交。
Z。 表15 SelfDefinedFieldVO 参数 参数类型 描述 fd_name_ch String 自定义项中文名。 fd_name_en String 自定义项英文名。 not_null Boolean 是否必填。 fd_value String 属性值。 表16 WorkspaceVO
集群规格选择“cdm.xlarge”。 集群所属的VPC与MRS所属的VPC一致，同时也要与云专线连通的VPC的一致。 其它参数可以自定义，或者保持默认。 创建CDH HDFS连接： 单击CDM集群操作列的“作业管理”，进入作业管理界面。 选择“连接管理 > 新建连接”，进入
”、“<”、“>”等各类特殊字符，长度为1～128个字符。 主题名称 是 选择消息的主题，该主题已在SMN服务中创建好。 消息标题 否 自定义消息的标题，长度必须少于512个字符。 消息类型 是 选择消息的发送格式。 文本消息：按文本格式发送的消息。 JSON消息：按JSON格式
的数据血缘和数据全景可视，提供数据智能搜索和运营监控。 元数据管理 元数据管理模块是数据湖治理的基石，支持创建自定义策略的采集任务，可采集数据源中的技术元数据。支持自定义业务元模型，批量导入业务元数据，关联业务和技术元数据、全链路的血缘管理和应用。 图5 全链路数据血缘 数据地图
SelfDefinedFieldVO 参数 是否必选 参数类型 描述 fd_name_ch 否 String 自定义项中文名。 fd_name_en 否 String 自定义项英文名。 not_null 否 Boolean 是否必填。 fd_value 否 String 属性值。 表15
3.1.1及以上版本的MRS集群。 若需要连接MRS 3.2.1版本集群，则需通过HetuEngine WebUI界面，给计算实例添加如下自定义参数：参数名为“protocol.v1.alternate-header-name”，值为“Presto”，参数文件为“coordinator
脏数据阈值仅针对每个并发生效。比如阈值为100，并发为3，则该作业可容忍的脏数据条数最多为300。 输入-1表示不限制脏数据条数 100 添加自定义属性 支持通过自定义属性修改部分作业参数及开启部分高级功能，详情可参见任务性能调优章节。 - 提交并运行任务。 作业配置完毕后，单击作业开发页面左上角“提交”，完成作业提交。
告警条件：非必填，保持默认即可。 图3 子作业规则配置 单击“下一步”，进入“告警配置”页面。 告警条件选择“子规则告警条件”，表达式可以自定义，此处可配置为“${1}<=0”，表示总行数小于等于0时触发告警。 图4 告警配置 单击“下一步”，进入“订阅配置”页面。 如果开启通知状
选择需要授权的用户。用户列表来自于工作空间用户。 用户组 选择需要授权的用户组。用户组列表来自于工作空间用户组。 角色 选择需要授权的角色。角色列表来自于系统预置角色和自定义角色。 图2 新建空间资源权限策略 相关操作 编辑策略：在空间资源权限页面，单击对应策略操作栏中的“编辑”，即可编辑策略。 删除策略：在空
数，单击“保存”。 图4 创建OBS连接 表1 OBS连接的参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 obs_link OBS终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点
计入超时时间，可前往默认项设置 > 实例超时是否忽略等待时间修改此策略。 如果未选上，表示实例运行时等待时间会被计入超时时间。 自定义字段 配置自定义字段的参数名称和参数值。 作业标签 配置作业的标签，用以分类管理作业。 单击“新增”，可给作业重新添加一个标签。也可选择管理作业标签中已配置的标签。
数，单击“保存”。 图4 创建OBS连接 表1 OBS连接的参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 obs_link OBS终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点
置1个。 同时，可通过在Hudi的目的端配置中单击“Hudi表属性全局配置”或在映射后的单表“表属性编辑”中，添加优化参数。 图1 添加自定义属性 表1 Hudi写入优化参数 参数名 类型 默认值 说明 hoodie.sink.flush.tasks int 1 Hudi flu
SelfDefinedFieldVO 参数 是否必选 参数类型 描述 fd_name_ch 否 String 自定义项中文名。 fd_name_en 否 String 自定义项英文名。 not_null 否 Boolean 是否必填。 fd_value 否 String 属性值。 响应参数
SelfDefinedFieldVO 参数 是否必选 参数类型 描述 fd_name_ch 否 String 自定义项中文名。 fd_name_en 否 String 自定义项英文名。 not_null 否 Boolean 是否必填。 fd_value 否 String 属性值。 响应参数
0Z。 表9 SelfDefinedFieldVO 参数 参数类型 描述 fd_name_ch String 自定义项中文名。 fd_name_en String 自定义项英文名。 not_null Boolean 是否必填。 fd_value String 属性值。 状态码： 400
SelfDefinedFieldVO 参数 是否必选 参数类型 描述 fd_name_ch 否 String 自定义项中文名。 fd_name_en 否 String 自定义项英文名。 not_null 否 Boolean 是否必填。 fd_value 否 String 属性值。 表15
置1个。 同时，可通过在Hudi的目的端配置中单击“Hudi表属性全局配置”或在映射后的单表“表属性编辑”中，添加优化参数。 图1 添加自定义属性 表1 Hudi写入优化参数 参数名 类型 默认值 说明 hoodie.sink.flush.tasks int 1 Hudi flu
connectTimeout=360000与socketTimeout=360000：迁移数据量较大、或通过查询语句检索全表时，会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间（单位ms），避免超时导致失败。 useCursorFetch=false：CDM作业默认打开了JDBC
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
