检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的端作业参数如表1所示。 使用CDM服务迁移数据到DLI时，DLI要在OBS的dli-trans*内部临时桶生成数据文件，因此在需要赋予DLI连接中使用AK/SK所在用户对dli-trans*桶的读、写、创建目录对象等权限，否则会导致迁移失败。dli-trans*内部临时桶的权限
连接管理能力由管理中心统一提供，相关接口已不再维护，推荐使用管理中心API进行连接管理。 功能介绍 导出zip压缩包格式的连接文件，包括所有连接的定义。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/connections/export
通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台，借助DLF的在线脚本编辑、周期调度CDM的迁移作业，也可以实现增量数据迁移。 这里以DWS导入到OBS为例，介绍DLF配合CDM实现增量迁移的流程： 获取CDM作业的JSON 修改JSON 创建DLF作业
活跃Top10电影。您可以学习到数据集成模块的数据迁移和数据开发模块的脚本开发、作业开发、作业调度等功能，以及DWS SQL基本语法。 本入门示例涉及DataArts Studio数据集成、管理中心和数据开发模块，DataArts Studio各版本均可以满足使用要求。 操作流程如下：
管理样本库 数据安全支持将您提供的OBS或HDFS样本文件生成样本库。当新建随机脱敏或字符替换类型的脱敏算法时，可以选择将敏感数据脱敏为样本库文件中的值，详见新建脱敏算法。 本章主要介绍如何创建样本。 前提条件 已在OBS或HDFS中上传样本文件。样本文件只支持txt格式，大小建
数据搬迁。 当前管理中心支持搬迁的数据目录数据包含分类、标签、采集任务，数据目录中的业务资产、技术资产、指标资产均不支持直接导入导出。 您可以通过导入管理中心和数据架构数据，并运行新导入的采集任务重新生成业务资产、技术资产、指标资产。 父主题： DataArts Studio配置数据搬迁实践
是否使用集群配置 您可以通过使用集群配置，简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时，此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hadoop_01 单击“显示高级属性”，然后单击“添加”，您可以添加客户
MongoDB/DDS增量迁移 使用CDM导出MongoDB或者DDS的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现MongoDB/DDS的增量迁移。 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替
IDEA中安装NodeJS插件，如果未安装，请按照图1所示安装。 图1 安装NodeJS插件 获取SDK 登录DataArts Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版> SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK，下载SDK包到本地。
参数位置：在创建表/文件迁移作业时，如果源端数据源为文件类型，那么源端作业参数的高级属性中可以看到“过滤类型”参数，该参数可选择：通配符或正则表达式。 参数原理：“过滤类型”选择“通配符”时，CDM就可以通过用户配置的通配符过滤文件或路径，CDM只迁移满足指定条件的文件或路径。 配置样例：
并广泛应用于社交关系分析、营销推荐、舆情及社会化聆听、信息传播、防欺诈等具有丰富关系数据的场景。 在DataArts Studio中，您可以将原始数据表按照GES数据导入要求处理为标准点数据集和边数据集，并通过自动生成元数据功能，将图数据（点数据集、边数据集和元数据）定期导入到
产、销售等）或者实施环境（开发、测试、生产等），没有特定的划分要求。 随着业务的不断发展，您可能进行了更细致的工作空间划分。这种情况下，您可以参考本文档，将原有工作空间的数据（包含管理中心数据连接、数据集成连接和作业、数据架构表、数据开发脚本、数据开发作业、数据质量作业等），搬迁到新建的工作空间中。
如何使用Java调用CDM的Rest API创建数据迁移作业？ CDM提供了Rest API，可以通过程序调用实现自动化的作业创建或执行控制。 这里以CDM迁移MySQL数据库的表city1的数据到DWS的表city2为例，介绍如何使用Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。
调度作业。目前不支持同周期调度，即周依赖周或者月依赖月的作业，不支持建立依赖关系。 解决方案 如果这2个作业是周依赖周或者月依赖月的作业，可以把这2个作业放到同一个画布中再运行。 父主题： 数据开发
For Each 功能 该节点可以指定一个子作业循环执行，并支持用一个数据集对子作业中的变量进行循环替换。 For Each节点的具体使用教程，请参见For Each节点使用介绍。 For Each节点单次运行时，指定的子作业最多循环执行1000次。 如果DLI SQL作为前置节点，For
超过1000字符部分会被截断。 识别规则仅支持规则类型为正则表达式的内置规则或自定义规则，识别规则至多可以配置50条。 配置识别规则 在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。 单击左侧导航树中的“数据识别规则”，在数据识
业任务配置，包含如下功能： 作业失败重试：如果作业执行失败，可选择是否自动重新启动作业。 作业分组：CDM支持对作业进行分组，分组后的作业可以按组显示、按组批量删除作业、按组批量启动作业、按组导出等。 是否定时执行：可选择作业是否定时自动启动。 抽取并发数：可设置同时执行的抽取任务数。
对于默认发布在数据服务专享版集群的API，当数据服务专享版集群绑定域名后，API即可通过域名访问。 绑定内网域名：内网域名是指在VPC中生效的域名。绑定内网域名，可以将内网域名与内网地址相关联，然后在内网同一VPC中通过内网域名进行API调用。 在集群页面单击“更多 > 绑定内网域名”，输入自定义的内网
其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段映射关系和时间格式是否正确，例如：源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字段，通常用于标记数据库来源，以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段：
其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段映射关系和时间格式是否正确，例如：源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字段，通常用于标记数据库来源，以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
