检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
le的表需要提前创建好。 SQL模板 否 单击“配置”按钮获取SQL模板。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。
作业分组：CDM支持对作业进行分组，分组后的作业可以按组显示、按组批量删除作业、按组批量启动作业、按组导出等。 是否定时执行：可选择作业是否定时自动启动。 抽取并发数：可设置同时执行的抽取任务数。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该
单击“下一步”，配置调度方式，如图11所示。 图11 调度配置 单次调度表示需要手动触发运行，周期性调度表示会按照配置定期触发作业运行。此处以当天配置为例，设置每15分钟触发运行一次对账作业为例的配置。 单击“提交”， 完成对账作业的创建。 执行对账作业并查看结果分析 在数据质量模块左侧导航栏中，选择“数据质量监控
原作业名称。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 X-Auth-Token 否 String
描述 描述信息。 单击“确定”，任务组创建完成。 配置完成后，请前往作业开发界面，在所需作业画布右侧“调度配置”页签，选择任务组，即可按照设置好的任务组更细粒度的进行当前任务组中的作业节点的并发数控制。 后续操作 修改：单击“修改”，可以修改已配置好的任务组。任务组的修改是实时生效的。
单击“下一步”进入“规则配置”页面，配置质量作业的相关规则。在“计算范围”的“条件扫描”里面配置数据质量作业参数，如下图所示。 图1 设置数据质量参数 单击“下一步”，依次配置告警、订阅、调度等信息。配置质量作业的详细操作请参见新建质量作业。 单击“提交”。数据质量作业配置完成。
表。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 表3 参数说明 参数名 是否必选 类型
是否校验，默认否。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 表3 Connection参数说明 参数名
作业定义文件在OBS上的路径。例如obs://myBucket/jobs.zip。 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 响应参数 表3 参数说明 参数名 是否必选
字段的值替换为当前时间。所选字段必须为timestamp类型。 - 写入参数 在执行Spark SQL往hudi插入数据前，通过set语法设置参数，从而控制spark的写入行为。 hoodie.combine.before.upsert 父主题： 配置作业目的端参数
映射名称：新建映射时会自动生成，用户可以手动修改。 源逻辑实体：如果数据来源于一个模型中的多个逻辑实体，可以单击逻辑实体后的按钮为该逻辑实体和其他逻辑实体之间设置JOIN。 图7 设置源表JOIN条件 表5 JOIN条件参数说明 参数名 参数说明 *JOIN逻辑实体 下拉选择需要和源逻辑实体建立JOIN关系的逻辑实体。
D。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 表3 参数说明 参数名 是否必选 参数类型
您可以选择重启CDM服务进程或重启集群VM，选择完成并单击确认后即可完成集群重启操作。 重启CDM服务进程：只重启CDM服务的进程，不会重启集群虚拟机。 重启集群VM：业务进程会中断，并重启集群的虚拟机。 父主题： 创建并管理CDM集群
维度对应的字段。 例如，该示例中，统计维度设置为地区。 时间周期 在下拉框中选择所需要的时间周期，并选择关联的字段。系统预置了一些时间周期，如果不能满足需求，请参考时间周期进行创建。 过滤条件名称 输入过滤条件名称。 过滤条件类型 设置过滤条件类型。 业务定义 输入过滤条件的业务定义。支持的长度为0~600个字符。
脏数据归档 支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据自动归档到脏数据日志中，方便用户分析异常数据。并支持设置脏数据比例阈值，来决定任务是否成功。 数据架构：数据建模可视化、自动化、智能化 DataArts Studio数据架构践行数据治理方法论，
*数据密级 对配置的数据进行等级划分。如果现有的分级不满足需求，请进入数据密级页面进行设置，详情请参见定义数据密级。 数据分类 对配置的数据进行分类划分。如果现有的分类不满足需求，请进入数据分类页面进行设置，详情请参见定义数据分类。 规则描述 对当前规则进行简单描述。 内置 *规则模板
用于存储导入图过程中不符合元数据定义的点、边数据集和详细日志。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间（秒） 是 设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试
、清洗规则。 /user/dirtydir 单个分片的最大错误记录数 当“是否写入脏数据”为“是”才显示该参数。 单个map的错误记录超过设置的最大错误记录数则任务自动结束，已经导入的数据不支持回退。推荐使用临时表作为导入的目标表，待导入成功后再改名或合并到最终数据表。 0 单击“保存”，或者“保存并运行”。
数据识别规则页面。 单击页面上方“规则分组”页签，进入分组列表页面。 图1 新建数据识别规则组 单击“新建”，输入新建分组名称和描述，参数设置参考表1，并勾选左侧列表中的识别规则。配置完成后单击“确定”即可。 图2 新建分组参数配置 您所勾选的规则将显示在右侧列表中，右侧已选列表
脚本名称。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 表3 参数说明 参数名 是否必选 参数类型
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
