检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
spel表达式。 固定值。 从接口中获取：data.pageCount。 说明： 如果接口不是分页接口，并且只想调用一次，则将数据总数的值设置的小于或者等于每次拉取的数据。 是 固定值时推荐1000 父主题： 配置作业源端参数
D。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 X-Auth-Token 否 String
resource_id。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 响应参数 无 请求示例 DELETE
补数据名称 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 X-Auth-Token 是 String
id&gid&name”。 toJobConfig.shouldClearTable 否 Boolean 导入前是否清空目标表的数据，如果设置为true，任务启动前会清除目标表中数据。 父主题： 目的端作业参数说明
abled。 审计功能开关默认开启，如果已关闭则请参考修改数据库参数章节将audit_enabled设置为ON。 已开启需要审计的审计项。 DWS各类审计项及其开启方法，请参考设置数据库审计日志章节。 对于DWS数据源，未开启三权分立时，默认拥有SYSADMIN属性的用户可以查看
单击数据安全左侧导航树中的“数据密级”，进入数据密级页面。 图1 进入数据密级 单击“新建”，参考表1输入数据密级信息。 图2 新建数据密级 表1 参数设置 参数名 参数设置 *密级名称 密级名称只能包含中文、英文字母、数字和下划线，创建完成后不支持“编辑”操作。 密级描述 密级描述支持所有字符输入，创建完成后支持通过“编辑”操作修改。
如果导入的作业名有重复，系统会按后面一列来识别，标签标识按照该行来处理。 添加方式：支持追加和覆盖两种。 追加：若该作业已设置了作业标签，新添加的标签不会覆盖原来的标签。 覆盖：若该作业已设置了作业标签，新添加的标签将会直接覆盖原来的标签。 单击“确定”，完成导入。 导出作业标签 在数据开发主界面的左侧导航栏，选择“配置管理
“运维调度 > 实例监控”，日期选择当天，查看哪些作业调度较多。 在数据开发主界面的左侧导航栏，选择“运维调度 > 作业监控”，查看调度较多的作业设置的调度周期是否合理。如果调度周期不合理，建议适当调整这些调度周期或停止调度。一般每日执行节点个数超过上限都是由于分钟级别的作业导致的。 图1
脏数据归档 支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据自动归档到脏数据日志中，方便用户分析异常数据。并支持设置脏数据比例阈值，来决定任务是否成功。 数据架构：数据建模可视化、自动化、智能化 DataArts Studio数据架构践行数据治理方法论，
配置CDM作业定时任务 在表/文件迁移的任务中，CDM支持定时执行作业，按重复周期分为：分钟、小时、天、周、月。 CDM在配置定时作业时，不要为大量任务设定相同的定时时间，应该错峰调度，避免出现异常。 如果通过DataArts Studio数据开发调度CDM迁移作业，此处也配置了
在左侧导航树中，单击“任务监控”，查看采集任务是否成功。 图6 查看监控任务 当采集任务成功后，在左侧导航栏单击“数据目录”，选择“技术资产”页签，然后设置筛选条件，例如选中连接“mrs_hive_link”，以及选中“Table”，将显示符合条件的所有的表。 图7 技术资产 单击所需要的元数据名称，即可查看详情信息。
DIS连接固定选择为DIS。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。 说明： 标签的名称，只能包含中文、英文字母、数字和下划线，不能以下划线开头，且长度不能超过100个字符。 适用组件
作业名称。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 表3 参数说明 参数名 是否必选 类型
选择是否拆分Rowkey，例如“true”。 fromJobConfig.delimiter 否 String 用于切分Rowkey的分隔符，若不设置则不切分，例如“|”。 fromJobConfig.startTime 否 String 时间区间左边界（包含该值），格式为“yyyy-MM-dd
定义DDL消息处理策略 来源数据源会包含许多DDL操作，进行实时同步时，您可以根据业务需求，对不同的DDL消息设置同步至目标端的处理策略。 实时同步任务运维 支持对同步任务设置监控报警。 基本特性 实时处理集成作业为大数据开发提供了支撑，具有以下特性： 实时性：支持数据秒级迁移。 可
作业分组：CDM支持对作业进行分组，分组后的作业可以按组显示、按组批量删除作业、按组批量启动作业、按组导出等。 是否定时执行：可选择作业是否定时自动启动。 抽取并发数：可设置同时执行的抽取任务数。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该
CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数，超出规格的Task排队等待运行。 因此作业抽取并发数和集群最大抽取并发数参数设置为适当的值可以有效提升迁移速度，您可参考下文有效配置抽取并发数。 集群最大抽取并发数的上限建议为vCPU核数*2，如表1所示。 表1 集群最大抽取并发数配置建议
le的表需要提前创建好。 SQL模板 否 单击“配置”按钮获取SQL模板。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。
称]_[节点名称]。 minPlanTime 否 Long 返回作业实例开始时间大于minPlanTime的作业实例，单位为毫秒ms，默认设置为查询当天0点。 maxPlanTime 否 Long 返回作业实例开始时间小于maxPlanTime的作业实例，单位为毫秒ms。 limit
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
