检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
购买DataArts Studio实例 DataArts Studio采用基础包+增量包的计费模式,其中基础包即DataArts Studio实例,购买方法请参见购买DataArts Studio基础包。 背景信息 只有拥有DAYU Administrator或Tenant Ad
配置队列权限 本章介绍如何通过队列权限管理,为当前工作空间分配可使用的MRS Yarn和DLI队列资源,并为用户组/用户配置对应的队列权限策略。 当前队列分配和队列权限管控均为白名单机制。即如果未分配队列,则无法选择队列;如果队列未对用户授权,则用户无法使用队列。 当为工作空间分
数据治理中心-成长地图 | 华为云 数据治理中心 数据治理中心(DataArts Studio)是数据全生命周期一站式开发运营平台,提供数据集成、数据开发、数据治理、数据服务等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业客户快速构建数据运营能力。
配置下载权限(高级特性) 本章介绍如何通过下载权限策略,基于用户或用户组,对数据开发中SQL脚本执行结果的转储以及在下载中心下载操作进行权限控制。 DataArts Studio实例中默认具备命名为“SYSTEM_GENERATE_DEFAULT_DATA_DOWNLOAD_PO
购买DataArts Studio基础包 DataArts Studio采用基础包+增量包的计费模式,其中基础包即DataArts Studio实例,购买方法请参见购买DataArts Studio基础包。 背景信息 只有拥有DAYU Administrator或Tenant A
目的端为HDFS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig
配置ElasticSearch目的端参数 表1 Elasticsearch作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 索引 待写入数据的Elasticsearch的索引,类似关系数据库中的数据库名称。CDM支持自动创建索引和类型,索引和类型名称只能全部小写,不能有大写。
SDK调用常见错误码/错误信息 表1 常见错误码/错误信息 错误码 错误信息 错误原因 解决方案 DLM.0 null 表示API调用成功。 表示调用成功,无需处理。 APIG.0101 The API does not exist or has not been published
CloudTable OpenTSDB连接参数说明 连接CloudTable OpenTSDB时,相关参数如表1所示。 表1 CloudTable OpenTSDB连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 TSDB_link
批量导出作业 功能介绍 此接口可以批量导出DLF作业定义,包括作业依赖的脚本和CDM作业定义。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/jobs/batch-export 参数说明 表1
配置默认项 本章节主要介绍默认项的配置。当前只有具备DAYU Administrator或Tenant Administrator账号权限的用户才有默认配置项的相关操作权限。 使用场景 当某参数被多个作业调用时,可将此参数提取出来作为默认配置项,无需每个作业都配置该参数。 表1 配置项列表
配置DLI目的端参数 作业中目的连接为DLI连接时,即将数据导入到数据湖探索服务(DLI)时,目的端作业参数如表1所示。 使用CDM服务迁移数据到DLI时,DLI要在OBS的dli-trans*内部临时桶生成数据文件,因此在需要赋予DLI连接中使用AK/SK所在用户对dli-tr
管理配置中心 约束与限制 配置中心中各类对象的自定义项配额如下: 主题自定义项10条。 表自定义项30条。 属性自定义项10条。 业务指标自定义项50条。 主题流程配置 主题流程配置用于自定义主题设计中的主题层级和自定义属性。系统默认有三个层级,从上到下分别命名为主题域分组(L1
操作环境与数据准备 操作环境准备 如果您是第一次使用DataArts Studio,请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例(DataArts Studio企业版)、创建工作空间等一系列操作。然后进入到对应的工作空间,即可开始使用DataArts
配置调度身份 数据开发模块的作业执行中会遇到如下问题: 数据开发模块的作业执行机制是以启动作业的用户身份执行该作业。对于按照周期调度方式执行的作业,当启动该作业的IAM账号在调度周期内被停用或删除后,系统无法获取用户身份认证信息,导致作业执行失败。 如果作业被低权限的用户启动,也会因为权限不足导致作业执行失败。
CDM Job 功能 通过CDM Job节点执行一个预先定义的CDM作业,实现数据迁移功能。 如果CDM作业中配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为(数据开发作业计划启动时间-偏移量),而不是(CDM作业实际启动时间-偏移量)。
配置HDFS目的端参数 作业中目的连接为HDFS连接时,目的端作业参数如表1所示。 表1 HDFS作为目的端时的作业参数 参数名 说明 取值样例 写入目录 写入数据到HDFS服务器的目录。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配
DataArts Studio使用流程 数据治理中心DataArts Studio是具有数据全生命周期管理、智能数据管理能力的一站式治理运营平台,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除
MRS Hudi连接参数说明 连接MRS Hudi时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 Hudi连接参数 参数名 说明 取值样例 名称 连接名称。 Hudilink Manager
解析响应消息体中的流 导出作业和导出连接的接口响应消息是一个流,需要转化为一个文件。 您可以参考下面的样例代码: String EXPORT_JOB_URL = "https://{endpoint}/v1/{project_id}/jobs/{job_name}/export";