检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建CDM与数据源之间的连接 操作场景 用户在创建数据迁移的任务前，需要先创建连接，让CDM集群能够读写数据源。一个迁移任务，需要建立两个连接，源连接和目的连接。不同的迁移方式（表或者文件迁移），哪些数据源支持导出（即作为源连接），哪些数据源支持导入（即作为目的连接），详情请参见支持的数据源。
Hive连接参数说明 目前CDM支持连接的Hive数据源有以下几种： MRS Hive FusionInsight Hive Apache Hive 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 MRS Hive 用户具有MRS
步骤3：数据集成 本章节将介绍如何使用DataArts Studio数据集成将源数据批量迁移到云上。 创建集群 批量数据迁移集群提供数据上云和数据入湖的集成能力，全向导式配置和管理，支持单表、整库、增量、周期性数据集成。DataArts Studio基础包中已经包含一个数据集成的
式语言可以用来创建算术和逻辑表达式。在表达式内可以使用整型数，浮点数，字符串，常量true、false和null。 表达式支持以下两个环境变量： value：当前字段值。 row：当前行，数组类型。 表达式支持的工具类用法罗列如下，未列出即表示不支持： 如果当前字段为字符串类型，
关系建模 物理模型是指按照一定规则和方法，将逻辑模型中所定义的实体、属性、属性约束、关系等要素转换为数据库软件所能够识别的表关系图(Table Relationship Diagram)的一种物理描述。 在关系建模中，您可以新建SDI层和DWI层两个模型，模型最终是通过物理建模进
新建码表 码表，也称lookup表、数据字典表，一般由中英文名称编码组成，由可枚举数据构成，存储枚举数据名称与编码的映射关系。码表的作用主要有： 在数据清洗中用于标准化业务数据以及补充映射字段。 在质量监控中用于监控业务数据的值域范围。 在维度建模中可以引申为枚举维度。 新建码表并发布
型”选择“KAFKA”时才需要配置。 OBS路径 选择要监听的OBS路径，如果该路径下有新增文件，则触发调度；新增的文件的路径名，可以通过变量Job.trigger.obsNewFiles引用。前提条件：该OBS路径已经配置DIS消息通知。 最大处理文件数 节点被驱动运行时，每批
权限管理 如果您需要对购买的DataArts Studio资源，给企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分
DISTRIBUTE BY [HASH(column)|REPLICATION]。 枚举值： HASH: 对指定的列进行Hash，通过映射，把数据分布到指定DN REPLICATION: 表的每一行存在所有数据节点（DN）中，即每个数据节点都有完整的表数据 distribute_column
约束与限制 浏览器限制 您需要使用支持的浏览器版本登录DataArts Studio。 表1 浏览器兼容性 浏览器版本 建议版本 建议操作系统 备注 Google Chrome 126，125，124 Windows 10 建议分辨率为1920*1080，2560*1440。 Firefox
设置补数据任务的运行时间段。 是 可以设置补数据任务每天运行的时间段。 否 单击“确定”，开始补数据，并进入“补数据监控”页面。 批作业监控：添加作业标签 支持给作业添加标签，便于作业实例的筛选分类。 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts
DISTRIBUTE BY [HASH(column)|REPLICATION]。 枚举值： HASH: 对指定的列进行Hash，通过映射，把数据分布到指定DN REPLICATION: 表的每一行存在所有数据节点（DN）中，即每个数据节点都有完整的表数据 distribute_column
MRS Hive数据连接参数说明 表1 MRS Hive数据连接 参数 是否必选 说明 数据连接类型 是 MRS Hive连接固定选择为MapReduce服务（MRS Hive）。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签
文件格式介绍 在创建CDM作业时，有些场景下源端、目的端的作业参数中需要选择“文件格式”，这里分别介绍这几种文件格式的使用场景、子参数、公共参数、使用示例等。 CSV格式 JSON格式 二进制格式 文件格式的公共参数 文件格式问题解决方法 CSV格式 如果想要读取或写入某个CSV
DISTRIBUTE BY [HASH(column)|REPLICATION]。 枚举值： HASH: 对指定的列进行Hash，通过映射，把数据分布到指定DN REPLICATION: 表的每一行存在所有数据节点（DN）中，即每个数据节点都有完整的表数据 distribute_column
文件格式介绍 在创建CDM作业时，有些场景下源端、目的端的作业参数中需要选择“文件格式”，这里分别介绍这几种文件格式的使用场景、子参数、公共参数、使用示例等。 CSV格式 JSON格式 二进制格式 文件格式的公共参数 文件格式问题解决方法 CSV格式 如果想要读取或写入某个CSV
DISTRIBUTE BY [HASH(column)|REPLICATION]。 枚举值： HASH: 对指定的列进行Hash，通过映射，把数据分布到指定DN REPLICATION: 表的每一行存在所有数据节点（DN）中，即每个数据节点都有完整的表数据 distribute_column
新建DataArts Studio与MRS Hive数据湖的连接 本章节以新建MRS Hive连接为例，介绍如何建立DataArts Studio与数据湖底座之间的数据连接。 前提条件 在创建数据连接前，请确保您已创建所要连接的数据湖（如DataArts Studio所支持的数据库、云服务等）。
可以自定义一个角色名称，用于标识该关系。 操作 单击可删除一条关系。单击可编辑关系。 在“映射”页面，单击“新建”新建映射，创建完成后单击“保存”。映射指的是给两个逻辑实体（源逻辑实体和目的逻辑实体）建立起属性的对应关系。 图6 新建映射 映射名称：新建映射时会自动生成，用户可以手动修改。 源逻辑实
DISTRIBUTE BY [HASH(column)|REPLICATION]。 枚举值： HASH: 对指定的列进行Hash，通过映射，把数据分布到指定DN REPLICATION: 表的每一行存在所有数据节点（DN）中，即每个数据节点都有完整的表数据 distribute_column
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
