检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件增量迁移 CDM支持对文件类数据源进行增量迁移，全量迁移完成之后，第二次运行作业时可以导出全部新增的文件，或者只导出特定的目录/文件。 目前CDM支持以下文件增量迁移方式： 增量导出指定目录的文件 适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这种增量迁移方式
DIS Client 功能 通过DIS Client节点可以给DIS通道发送消息。 您可以参考跨空间进行作业调度，获取DIS Client节点的使用案例。 参数 用户可参考表1配置DIS Client节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文
启用细粒度认证 在DataArts Studio数据开发组件执行脚本、测试运行作业时，数据源会使用数据连接上的账号进行认证鉴权。因此，即使已通过配置角色/权限集对用户进行权限管控，当用户在数据开发时，权限管控依然无法生效。 而在配置细粒度认证后，在DataArts Studio数据开发执行脚本
配置OBS目的端参数 作业中目的连接为OBS连接时，即导入数据到云服务OBS时，目的端作业参数如表1所示。 高级属性里的参数为可选参数，默认隐藏，单击界面上的“显示高级属性”后显示。 表1 OBS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 写入数据的OBS
DLI Spark 功能 通过DLI Spark节点执行一个预先定义的Spark作业。 DLI Spark节点的具体使用教程，请参见开发一个DLI Spark作业。 参数 用户可参考表1，表2和表3配置DLI Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称
配置OBS目的端参数 支持使用CSV、CarbonData或二进制格式批量传输大量文件到OBS。 表1 OBS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 写入数据的OBS桶名。 bucket_2 写入目录 写入数据到OBS服务器的目录，目录前面不加“/
步骤3：数据集成 本章节将介绍如何使用DataArts Studio数据集成将源数据批量迁移到云上。 创建集群 批量数据迁移集群提供数据上云和数据入湖的集成能力，全向导式配置和管理，支持单表、整库、增量、周期性数据集成。DataArts Studio基础包中已经包含一个数据集成的集群
定义数据密级 为了方便对数据进行管理，在对数据进行操作前，需要您为数据定义密级，并对保密等级做相应的描述，例如明确涉密的范围。本章主要介绍如何定义数据密级并配置默认密级。 值得注意的是，数据密级、数据分类和识别规则，均为DataArts Studio实例级别配置，各工作空间之间数据互通
导入作业 功能介绍 将存放在OBS桶的作业文件导入到DLF，一次可以导入一个或多个作业。 执行本接口之前，需要将作业文件放到OBS的桶中。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/jobs
查询脚本列表 功能介绍 此接口用于查询脚本列表，每次查询返回的脚本数量上限是1000个。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/scripts?offset={offset}&limit
Import GES 功能 通过Import GES节点可以将OBS桶中的文件导入到GES的图中。 Import GES算子的具体使用教程，请参见基于MRS Hive表构建图数据并自动导入GES。 参数 用户可参考表1和表2配置Import GES节点的参数。 表1 属性参数 参数
示例场景说明 本示例是一个DataArts Studio全流程入门教程，旨在介绍如何在DataArts Studio平台完成端到端的全流程数据运营。 本案例基于某市的出租车出行数据，选择MRS Hive作为数据湖底座，使用DataArts Studio实施全流程数据治理。期望通过实施数据治理达到以下目标
配置空间资源权限策略 本章介绍如何通过空间资源权限策略，基于用户、用户组或角色，实现对管理中心所有数据连接和IAM委托（仅限于委托对象为“数据湖治理中心 DGC”的云服务委托）的精细权限控制。 当未配置某资源的空间资源权限策略时，所有用户默认可以查看并使用该资源。 当将某资源（例如某个连接或者某个委托
查询脚本信息 功能介绍 此接口可以查询指定脚本的定义，包括脚本类型和脚本内容。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/scripts/{script_name}?version={version
SMN 功能 通过SMN节点向用户发送通知消息。 参数 用户可参考表1和表2配置SMN节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 主题名称
贸易数据上云场景介绍 使用云数据迁移（Cloud Data Migration，简称CDM）将本地贸易统计数据导入到OBS，再使用数据湖探索（Data Lake Insight，简称DLI）进行贸易统计分析，帮助H咨询公司以极简、极低成本构建其大数据分析平台，使得该公司更好地聚焦业务
通过API工具调用IAM认证方式的API IAM认证方式的API调用前，需要调用IAM服务的获取用户Token接口获取Token，然后通过Token进行安全认证。 本章节以Postman工具为例，为您介绍如何使用API工具调用IAM认证方式的API，主要包含如下几步： 获取API信息
跨空间进行作业调度 适用场景 当您已按照工作空间划分权限，不同空间用户只能操作本空间的作业。但是不同的工作空间之间的作业如果存在依赖关系，可参见本教程操作实现跨空间作业调度。 方案说明 DataArts Studio数据开发模块支持以事件触发的方式运行作业，因此通过DIS或者MRS
创建补数据实例 功能介绍 创建一个补数据实例。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 POST /v2/{project_id}/factory/supplement-data 参数说明 参数名 是否必选 参数类型 说明 project_id
什么是数据治理中心DataArts Studio 企业数字化转型面临的挑战 企业在进行数据管理时，通常会遇到下列挑战。 数据治理的挑战 缺乏企业数据体系标准和数据规范定义的方法论，数据语言不统一。 缺乏面向普通业务人员的高效、准确的数据搜索工具，数据找不到。 缺乏技术元数据与业务元数据的关联
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
