检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作环境与数据准备 操作环境准备 如果您是第一次使用DataArts Studio，请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例（DataArts Studio企业版）、创建工作空间等一系列操作。然后进入到对应的工作空间，即可开始使用DataArts
MRS HDFS数据迁移到OBS 操作场景 CDM支持文件到文件类数据的迁移，本章节以MRS HDFS-->OBS为例，介绍如何通过CDM将文件类数据迁移到文件中。流程如下： 创建CDM集群并绑定EIP 创建MRS HDFS连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口，以及AK、SK。
为什么权限同步到DLI中，会提示权限不够？ 权限同步到DLI的任务通过云服务委托（dlg_agency）完成，因此需要委托拥有IAM认证服务相关权限，具体所需权限如表1所示。 表1 待授予权限 权限名称 配置目的 是否必选 授权项/系统权限（二者选其一配置即可） IAM权限 系统
配置Hive源端参数 作业中源连接为Hive连接时，源端作业参数如表1所示。 表1 Hive作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择Hive表名
导入作业 功能介绍 将存放在OBS桶的作业文件导入到DLF，一次可以导入一个或多个作业。 执行本接口之前，需要将作业文件放到OBS的桶中。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/jobs/import
查询连接详情（待下线） 连接管理能力由管理中心统一提供，相关接口已不再维护，推荐使用管理中心API进行连接管理。 功能介绍 查询指定连接的配置详情。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 GET /v1/{project_id
开启数据服务集群OBS日志转储 功能介绍 开启数据服务集群OBS日志转储。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/service/instances/{instance_id}/obs-log-dump 表1 路径参数 参数 是否必选
配置Hive源端参数 支持从Hive导出数据，使用JDBC接口抽取数据。 Hive作为数据源，CDM自动使用Hive数据分片文件进行数据分区。 表1 Hive作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 读取方式 包括HDFS和JDBC两种读取方式。默认为HD
总调用数为前7天数据总和（不含当天）。 数据安全 数据安全中配置的安全管理员，当且仅当在数据安全组件生效，对于周边组件和其他服务，此身份无效。 数据安全中功能级别的约束限制，请参考用户指南中对应功能的“约束与限制”章节。
查询连接列表（待下线） 连接管理能力由管理中心统一提供，相关接口已不再维护，推荐使用管理中心API进行连接管理。 功能介绍 查询连接列表。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/connections
当依赖的作业在当前作业周期内存在运行失败实例后，选择当前作业的处理策略： 等待执行 等待执行当前作业，等待执行的作业会阻塞后续作业的执行。您可以手动将依赖的作业强制成功，解决阻塞问题。 继续执行 继续执行当前作业。 取消执行 取消执行当前作业，当前作业的状态为“取消”。 例如，当前作业调度周期为1小时， 依赖作业调度周期为5分钟。
开发一个MRS Spark Python作业 本章节介绍如何在数据开发模块上进行MRS Spark Python作业开发。 案例一：通过MRS Spark Python作业实现统计单词的个数 前提条件： 开发者具有OBS相关路径的访问权限。 数据准备： 准备脚本文件"wordcount
Elasticsearch整库迁移到云搜索服务 操作场景 云搜索服务（Cloud Search Service）为用户提供结构化、非结构化文本的多条件检索、统计、报表，本章节介绍如何通过CDM将本地Elasticsearch整库迁移到云搜索服务中，流程如下： 创建CDM集群并绑定EIP
审计数据访问日志 数据安全提供DWS、HIVE和DLI数据源上详细的数据操作日志记录，包括时间、用户、操作对象、操作类型等信息。通过这些日志，可以快速进行数据操作审计，更好地做到数据安全管控。 前提条件 为实现MRS Hive数据源的数据访问审计，需要满足如下条件： MRS Hi
配置条件分支算子 条件分支算子通过获取上游算子的请求参数或结果集进行条件判断，根据定义的表达式来确定下一步执行的分支。注意，多个分支满足条件时仅执行第一个满足条件的分支。 表1 条件分支算子 参数 说明 分支1 条件类型 选择条件类型。 满足当前条件时：表示传入“条件分支”的数据满足指定的表达式时，将执行该分支。
修改连接（待下线） 连接管理能力由管理中心统一提供，相关接口已不再维护，推荐使用管理中心API进行连接管理。 功能介绍 编辑修改连接的配置。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 PUT /v1/{project_id}/co
查询统计用户相关的总览调用指标 功能介绍 查询统计用户相关的总览调用指标。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/statistic/apps-overview 表1 路径参数 参数 是否必选 参数类型 描述 project_id
Redis数据连接参数说明 表1 Redis数据连接 参数 是否必选 说明 数据连接类型 是 Redis连接固定选择为Redis。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。
开启数据服务集群LTS日志转储 功能介绍 开启数据服务集群LTS日志转储。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/service/instances/{instance_id}/lts-log-dump 表1 路径参数 参数 是否必选
查询发布包列表 功能介绍 用于查询发布包的列表信息。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 POST /v2/{project_id}/factory/release-packages 参数说明 表1 URI参数说明 参数名 是否必选
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
