检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置ElasticSearch源端参数 表1 ElasticSearch作为源端时的作业参数 参数类型 参数名 说明 是否必须填 取值样例 基本参数 索引 类似关系数据库的schema或数据库名称，整库迁移多索引以逗号分隔。 支持输入索引别名。 支持输入通配符表达式(*)。如果选择了多个索引，索引的结构必须一致。
TIME_CONDITION: 时间限定 data_quality_id String 质量ID，ID字符串。 show_control Integer 是否要显示正则表达式。 data_quality_name String 质量名称。 alert_conf String 告警配置。 expression String
在权限回收页签中，列表展示指定空间（默认当前空间）下的用户通过申请、审批获得的数据权限。您可以通过选择需要回收的权限所在的工作空间、成员名称或库表名，匹配权限记录（支持模糊匹配），然后通过操作栏中的“回收”，删除当前的权限记录。 仅DAYU Administrator、Tenant Administra
查询SQL获取max值传递给CDM作业 场景描述 通过查询SQL语句，将获取到的最大时间的max值传递给CDM作业。在CDM作业的高级属性里面，通过where子句判断最大时间范围，获取所需要的迁移数据，从而完成数据迁移任务，最终完成增量迁移任务。 约束条件 已完成新建数据连接的操作。
Hive的版本。根据服务端Hive版本设置。 说明： HIVE_3_X支持Hive服务端版本为3.x的连接，HIVE_2_X支持Hive服务端版本为2.x的连接。使用不匹配的连接版本，测试连接有可能正常，也可能会出现查询库表为空，或者作业失败等不正常场景。 属性配置 hive.storeFormat=textfile
目的端自动创建类型。 高级属性里的可选参数一般情况下保持默认即可。 单击“下一步”进入字段映射界面，CDM会自动匹配源和目的字段，如图5所示。 如果字段映射顺序不匹配，可通过拖拽字段调整。 如果选择在目的端自动创建类型，这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移
目的端自动创建类型。 高级属性里的可选参数一般情况下保持默认即可。 单击“下一步”进入字段映射界面，CDM会自动匹配源和目的字段，如图7所示。 如果字段映射顺序不匹配，可通过拖拽字段调整。 如果选择在目的端自动创建类型，这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移
DIS Stream 功能 通过DIS Stream节点查询DIS通道的状态，如果DIS通道运行正常，继续执行后续的节点；如果DIS通道运行异常，DIS Stream将报错并退出，此时如果需要继续执行后续的节点，请配置“失败策略”为“继续执行下一节点”，请参见表2。 参数 用户可参考表1和表2配置DIS
Hive连接参数说明 目前CDM支持连接的Hive数据源有以下几种： MRS Hive FusionInsight Hive Apache Hive 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 MRS Hive 用户具有MRS
只有处于“同步成功”状态的策略才能生效。 MRS Hive动态脱敏时，MRS Ranger支持对同一列配置不同规则，按照配置的时间顺序先后匹配，因此可以配置多条同集群、同库表列的不同内容的脱敏策略。 当前MRS服务支持的脱敏规则如表2所示，但对中文字符仅支持NULL掩盖和哈希掩盖
配置用户同步任务参数说明 配置 说明 *选择集群 选择DWS或Ranger数据连接中已连接的DWS或MRS集群。 *集群类型 无需选择，自动匹配集群类型。 *数据连接 无需选择，自动匹配集群数据连接中的数据源集群。 *调度时间 选择调度运行的时间段，左闭右开。 例如调度时间为00-05时，指的是在每天0
DIS Dump 功能 通过DIS Dump节点配置DIS的数据转储任务。 参数 用户可参考表1和表2配置DIS Dump节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。
源端为Redis JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
开发一个DWS SQL作业 介绍如何在数据开发模块上通过DWS SQL节点进行作业开发。 场景说明 本教程通过开发一个DWS作业来统计某门店的前一天销售额。 环境准备 已开通DWS服务，并创建DWS集群，为DWS SQL提供运行环境。 已开通CDM增量包，并创建CDM集群。 CD
自然周期调度 解释说明 DataArts Studio支持自然周期的调度方式。通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。 调度依赖就是节点间的上下游依赖关系，在DataArts Studio中，上游任务节点运行完成且运行成功，下游任务节点才会开始运行。
单击“选择主题”选择所属的主题信息。 逻辑实体编码 支持自动生成和自定义两种方式。 *逻辑实体名称 逻辑实体的名称。 只允许除\、<、>、%、"、'、;及换行符以外的字符。 *表英文名称 逻辑实体转换为物理表的名称。只能包含英文字母、数字、下划线、$、{、}，且不能以数字开头。 父逻辑实体 设置一
则会由于生成的策略名重复导致Kafka消息消费失败。 集群类型 无需选择，自动根据选择的集群匹配集群类型。当前仅支持同步策略到MRS集群。 数据连接 无需选择，自动根据选择的集群匹配数据连接。 *kafka数据连接 选择在前提条件中已创建的MRS Kafka类型数据连接。注意，
往“元数据采集 > 任务监控 ”页面，找到任务实例，选择“操作 > 更多 > 扫描结果”，查看采集任务的执行结果，确认分类结果是否匹配。勾选分类匹配字段前的复选框，单击“同步”，即可将分类和密级属性手动同步到资产。 仅DWS、DLI数据源支持创建采集任务时添加数据分类，实现自动识
宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 是 table 高级属性 查询筛选 创建用于匹配文档的筛选器。 例如：{HTTPStatusCode:{$gt:"400",$lt:"500"},HTTPMethod:"GET"}。 否
strings 连接名称列表。 search_all_attributes 否 Boolean 查询关键字是否匹配资产的名称描述信息，true：匹配所有属性，false：只匹配名称、描述，默认false。 tags 否 Array of strings 标签名称列表。 limit 是
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
