检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
主题设计 主题设计是通过分层架构表达对数据的分类和定义，帮助厘清数据资产，明确业务领域和业务对象的关联关系。 您可以通过以下两种方式进行主题设计： 新建主题并发布 手动新建并发布主题。 导入主题设计信息 如果主题信息比较复杂，建议采用导入方式批量导入主题信息。 您可以下载系统提供
节点参考 节点概述 节点数据血缘 CDM Job Data Migration DIS Stream DIS Dump DIS Client Rest Client Import GES MRS Kafka Kafka Client ROMA FDI Job DLI Flink Job
数据安全 为什么运行静态脱敏任务后却没有按照规则脱敏？ 审批DWS权限申请时提示“缺少必要的请求参数”怎么办？ 启用细粒度认证时，DWS联通性检测报错“FATAL: Invalid username/password,login denied”怎么办？ 启用细粒度认证后，在数据开发组件选择数据库时报错“Failed
调用API方式简介 创建API时，有三种认证方式可选，不同认证方式的API支持的调用方式也有所不同，详见表1。 表1 API认证与调用方式说明 认证方式 安全级别 授权与认证机制 支持的调用方式 调用方法示例 使用说明 （推荐）APP认证 高 通过APP应用将API授权给应用后，
源端为关系数据库 JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
创建CDM与数据源之间的连接 操作场景 用户在创建数据迁移的任务前，需要先创建连接，让CDM集群能够读写数据源。一个迁移任务，需要建立两个连接，源连接和目的连接。不同的迁移方式（表或者文件迁移），哪些数据源支持导出（即作为源连接），哪些数据源支持导入（即作为目的连接），详情请参见支持的数据源。
配置HDFS源端参数 作业中源连接为HDFS连接时，即从MRS HDFS、FusionInsight HDFS、Apache HDFS导出数据时，源端作业参数如表1所示。 表1 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可。
配置HDFS源端参数 表1 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可。 hdfs_to_cdm 源目录或文件 “列表文件”选择为“否”时，才有该参数。 待迁移数据的目录或单个文件路径。 该参数支持配置为时间宏变量，且
MongoDB数据连接参数说明 表1 MongoDB数据连接 参数 是否必选 说明 数据连接类型 是 MongoDB连接固定选择为MongoDB。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。
DMS Kafka数据连接参数说明 表1 DMS Kafka数据连接 参数 是否必选 说明 数据连接类型 是 DMS Kafka连接固定选择为DMS Kafka。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。
源端为Hive JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
管理静态脱敏任务 本章主要介绍如何创建静态脱敏任务，静态脱敏支持的源端和目的端可通过参考：静态脱敏场景介绍查看。 数据静态脱敏，可以防止隐私数据在未经脱敏的情况下从企业流出。满足企业既要保护隐私数据，同时又保持监管合规，满足企业合规性。敏感数据通过静态脱敏，提供内置高效、丰富的脱
配置角色 数据安全中的角色管理，本质上是基于权限集提供的更加直观、强大的权限管控能力。角色与权限集的不同之处在于，权限集是将用户与权限直接关联，而角色是通过在数据源上创建或纳管一个角色，进而承载用户和权限之间的关联关系。 当您在角色管理页面，为权限集关联了角色之后，权限就不再同步
获取SQL节点的输出结果值 当您在数据开发模块进行作业开发，需要获取SQL节点的输出结果值，并将结果应用于后续作业节点或判断时，可参考本教程获取SQL节点的输出结果。 场景说明 使用EL表达式#{Job.getNodeOutput("前一节点名")}获取的前一节点的输出结果时，输出结果为二维数组形式
启用账号映射（高级特性） 在未启用细粒度认证及账号映射策略的情况下，当在DataArts Studio数据开发组件执行脚本以及测试运行作业时，数据源默认会使用数据连接上的账号进行认证鉴权。因此，即使已通过配置角色/权限集对用户进行权限管控，当用户在进行数据开发时，权限管控依然无法生效。
华为数据治理实践 华为数据治理的规范流程建设，完成了从数据产生、数据整合、数据分析与数据消费全价值流的规则制定。华为数据治理组织实践，建立实体化的数据管理组织，向公司数据管理部汇报，同时组建了跨领域数据联合作战团队。华为已建立统一的数据分类管理框架，指导各领域进行分类管理。华为信
DLI连接 介绍 通过DLI连接，可以导入数据到数据湖探索（DLI）服务，CDM暂不支持从DLI服务导出数据。 连接样例 { "links": [ { "link-config-values": { "configs":
批量管理CDM作业 操作场景 这里以表/文件迁移的作业为例进行介绍，指导用户批量管理CDM作业，提供以下操作： 作业分组管理 批量运行作业 批量删除作业 批量导出作业 批量导入作业 批量导出、导入作业的功能，适用以下场景： CDM集群间作业迁移：例如需要将作业从老版本集群迁移到新版本的集群。
MySQL到DMS Kafka参数调优 源端优化 MySQL抽取优化。 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental
配置Elasticsearch/云搜索服务源端参数 作业中源连接为Elasticsearch连接参数说明或云搜索服务（CSS）连接参数说明时，源端作业参数如表1所示。 表1 Elasticsearch/云搜索服务作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 索引
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
