检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
目的端为OBS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig.bucketName
节点参考 节点概述 节点数据血缘 CDM Job Data Migration DIS Stream DIS Dump DIS Client Rest Client Import GES MRS Kafka Kafka Client ROMA FDI Job DLI Flink Job
创建CDM与数据源之间的连接 操作场景 用户在创建数据迁移的任务前，需要先创建连接，让CDM集群能够读写数据源。一个迁移任务，需要建立两个连接，源连接和目的连接。不同的迁移方式（表或者文件迁移），哪些数据源支持导出（即作为源连接），哪些数据源支持导入（即作为目的连接），详情请参见支持的数据源
管理维度表 维度表与维度一一对应，通过丰富维度中的属性信息构建形成。维度表的生命周期（包括新建、发布、编辑、下线操作）通过维度进行管理，在维度发布成功后，系统会自动创建并发布对应的维度表。 查看维度表发布历史 在数据架构控制台，选择“模型设计 > 维度建模”，进入维度建模页面。 单击
源端为关系数据库 JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig.useSql
MongoDB数据连接参数说明 表1 MongoDB数据连接 参数 是否必选 说明 数据连接类型 是 MongoDB连接固定选择为MongoDB。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后
管理静态脱敏任务 本章主要介绍如何创建静态脱敏任务，静态脱敏支持的源端和目的端可通过参考：静态脱敏场景介绍查看。 数据静态脱敏，可以防止隐私数据在未经脱敏的情况下从企业流出。满足企业既要保护隐私数据，同时又保持监管合规，满足企业合规性。敏感数据通过静态脱敏，提供内置高效、丰富的脱敏算法
Oracle与MRS Hudi字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。 字段类型映射规则 当源端为Oracle，目的端为Hudi时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 表1 Oracle
配置HDFS源端参数 作业中源连接为HDFS连接时，即从MRS HDFS、FusionInsight HDFS、Apache HDFS导出数据时，源端作业参数如表1所示。 表1 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可
配置HDFS源端参数 表1 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可。 hdfs_to_cdm 源目录或文件 “列表文件”选择为“否”时，才有该参数。 待迁移数据的目录或单个文件路径。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量
DMS Kafka数据连接参数说明 表1 DMS Kafka数据连接 参数 是否必选 说明 数据连接类型 是 DMS Kafka连接固定选择为DMS Kafka。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性
源端为Hive JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig.hive
新建数据对账作业 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。 数据质量监控中的对账作业支持跨源数据对账能力，可将创建的规则应用到两张表中进行质量监控，并输出对账结果。 创建作业 在DataArts
配置角色 数据安全中的角色管理，本质上是基于权限集提供的更加直观、强大的权限管控能力。角色与权限集的不同之处在于，权限集是将用户与权限直接关联，而角色是通过在数据源上创建或纳管一个角色，进而承载用户和权限之间的关联关系。 当您在角色管理页面，为权限集关联了角色之后，权限就不再同步到用户
获取SQL节点的输出结果值 当您在数据开发模块进行作业开发，需要获取SQL节点的输出结果值，并将结果应用于后续作业节点或判断时，可参考本教程获取SQL节点的输出结果。 场景说明 使用EL表达式#{Job.getNodeOutput("前一节点名")}获取的前一节点的输出结果时，输出结果为二维数组形式
创建企业模式工作空间 若您当前使用简单模式工作空间，但希望使用开发与生产环境隔离机制，您可以将简单模式工作空间升级为企业模式工作空间，如果您之前未使用过简单模式、无需继承业务数据，则可以直接新建新企业模式工作空间，本文为您介绍如何创建工作空间模式。 使用限制 只有DAYU Administrator
新建DataArts Studio与DWS数据湖的连接 本章节以新建DWS连接为例，介绍如何建立DataArts Studio与数据仓库底座之间的数据连接。 前提条件 在创建数据连接前，请确保您已创建所要连接的数据湖（如DataArts Studio所支持的数据库、云服务等）。 在创建
启用账号映射（高级特性） 在未启用细粒度认证及账号映射策略的情况下，当在DataArts Studio数据开发组件执行脚本以及测试运行作业时，数据源默认会使用数据连接上的账号进行认证鉴权。因此，即使已通过配置角色/权限集对用户进行权限管控，当用户在进行数据开发时，权限管控依然无法生效
MySQL到DMS Kafka参数调优 源端优化 MySQL抽取优化。 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot.backfill.skip
获取SQL节点的输出结果值 当您在数据开发模块进行作业开发，需要获取SQL节点的输出结果值，并将结果应用于后续作业节点或判断时，可参考本教程获取SQL节点的输出结果。 场景说明 使用EL表达式#{Job.getNodeOutput("前一节点名")}获取的前一节点的输出结果时，输出结果为二维数组形式
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
