检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Hive目的端参数 支持快速导入数据到MRS的Hive。 表1 Hive作为目的端时的作业参数 类别 参数名 说明 取值样例 基本参数 数据库 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择写入数据的目标表名。单击输入框后面的按钮可进入表的选择界面。
配置GBase目的端参数 表1 GBase作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 SCHEMA_EXAMPLE 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。
MySQL同步到Kafka作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 MySQL数据库（5.6、5.7、8.x版本） Kafka集群（2.7、3.x版本） 数据库账号权限要求 在使用Migration进行同步时，源端和目的端所使用的数
不支持数据类型转换规避指导 操作场景 CDM在配置字段映射时提示字段的数据类型不支持，要求删除该字段。如果需要使用该字段，可在源端作业配置中使用SQL语句对字段类型进行转换，转换成CDM支持的类型，达到迁移数据的目的。 操作步骤 修改CDM迁移作业，通过使用SQL语句的方式迁移。
源端为HDFS JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
配置作业目的端参数 配置PostgreSQL目的端参数 配置Oracle目的端参数 配置MySQL目的端参数 配置SQLServer目的端参数 配置Hudi目的端参数 配置Hive目的端参数 配置DLI目的端参数 配置ElasticSearch目的端参数 配置DWS目的端参数 配置OBS目的端参数
参考：作业分片维度 CDM在进行作业分片时，根据源端数据源的差异，分片维度有所不同。详情如表1所示。 表1 不同源端数据源的作业分片维度 数据源分类 源端数据源 作业分片原理 数据仓库 数据仓库服务（DWS） 支持按表字段分片。 不支持按表分区分片。 数据湖探索（DLI） 支持分区表的分区信息分片。
修改组合识别规则 功能介绍 修改组合识别规则 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/security/data-classification/rule/combine/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
API授权操作(授权/取消授权/申请/续约) 功能介绍 API主动授权： API审核人可发起，API主动授权成功后，在有效期内，APP即可访问该API。API授权包含授权和续约两部分功能。 授权：授权会给予APP在有效期内访问API的权利。 续约：续约会更新授权有效期，仅支持延长有效期，不能减少。
配置达梦数据库 DM源端参数 从达梦数据库 DM导出数据时，源端作业参数如表1所示。 表1 达梦数据库 DM作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQ
不支持数据类型转换规避指导 操作场景 CDM在配置字段映射时提示字段的数据类型不支持，要求删除该字段。如果需要使用该字段，可在源端作业配置中使用SQL语句对字段类型进行转换，转换成CDM支持的类型，达到迁移数据的目的。 操作步骤 修改CDM迁移作业，通过使用SQL语句的方式迁移。
PostgreSQL到DWS参数调优 源端优化 PostgreSQL抽取优化 暂无优化配置项。 目的端优化 DWS写入优化 可通过在DWS的目的端配置中修改写入相关配置，且可以通过单击高级配置的“查看编辑”按钮，添加高级属性。 图1 添加高级属性 表1 DWS写入优化参数 参数名
Oracle到DWS参数调优 源端优化 Oracle抽取优化 暂无优化配置项。 目的端优化 DWS写入优化 可通过在DWS的目的端配置中修改写入相关配置，且可以通过单击高级配置的“查看编辑”按钮，添加高级属性。 图1 添加高级属性 表1 DWS写入优化参数 参数名 类型 默认值 说明
For Each节点使用介绍 适用场景 当您进行作业开发时，如果某些任务的参数有差异、但处理逻辑全部一致，在这种情况下您可以通过For Each节点避免重复开发作业。 For Each节点可指定一个子作业循环执行，并通过数据集对子作业中的参数进行循环替换。关键参数如下： 子作业：选择需要循环执行的作业。
源端为HTTP/HTTPS JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name":
配置队列权限 本章介绍如何通过队列权限管理，为当前工作空间分配可使用的MRS Yarn和DLI队列资源，并为用户组/用户配置对应的队列权限策略。 当前队列分配和队列权限管控均为白名单机制。即如果未分配队列，则无法选择队列；如果队列未对用户授权，则用户无法使用队列。 当为工作空间分
API编排典型配置 API编排的典型使用场景如下： 对返回消息进行映射或格式转换：通过API编排的方式能够灵活实现消息映射及格式转换。 数据请求依赖多个数据API：使用API编排后，可以降低调用次数，减少集成成本，提升调用效率。 约束与限制 仅3.0.6及以上版本的数据服务专享版集群支持API编排。
配置DWS源端参数 作业中源连接为DWS连接时，源端作业参数如表1所示。 表1 DWS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，
统一权限治理 权限治理使用流程 授权dlg_agency委托 检查集群版本与权限 同步IAM用户到数据源 数据权限访问控制 服务资源访问控制 Ranger权限访问控制 父主题： 数据安全
发现敏感数据 完成了敏感数据识别规则组定义后，就可以根据定义的规则来创建敏感数据识别任务，发现敏感数据，并将敏感数据同步到数据地图组件。 敏感数据发现任务运行后，为使该识别规则在静态脱敏任务中生效，必须在“敏感数据分布>手工修正”页面对任务中的识别规则进行“确认”，使规则状态变更为“有效”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
