检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果预置角色可以满足您的使用需求,则您可以跳过本章节;否则,请您按照本章节描述创建自定义角色。 背景信息 DAYU Administrator或Tenant Administrator账号可以在工作空间中创建自定义角色。 如何创建并通过自定义工作空间角色精细化授权IAM用户,可参考如何授权其他用户使用DataArts
Studio服务CDM组件使用,参考创建集群创建CDM集群。 关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群的VPC必须和云搜索服务集群所在VPC一致,且推荐子网、安全组也与云搜索服务一致。 如果安全控制原因不能使用相同子网
SQL节点的Select语句的执行结果。使用EL表达式#{Job.getNodeOutput('HIVE')},其中HIVE为前一个节点的名称。 子作业参数:子作业参数是子作业中定义的参数,可以将主作业前一个节点的输出,传递到子作业以供使用。此处变量名为result,其值为数据集中的某一列,使用EL表达式#{Loop
用户的账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用用户进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在项目ID和账号ID下,您可以查看账号ID
开发一个Hive SQL作业 本章节介绍如何在数据开发模块上进行Hive SQL开发。 场景说明 数据开发模块作为一站式大数据开发平台,支持多种大数据工具的开发。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能;可
State Transfer)风格API,支持您通过HTTPS请求调用。 调用方法请参见如何调用API。 构造请求 认证鉴权 返回结果 父主题: 使用前必读
拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API 使用数据库本地API加速(系统会尝试启用MySQL数据库的local_infile系统变量)。 是 使用Agent Agent功能待下线,无需配置。 - local_infile字符集
在工作空间概览列表中,找到所需要的工作空间,单击“数据架构”,进入数据架构控制台。 在数据架构控制台,单击左侧菜单栏的“配置中心”。选择“ 主题流程配置”,使用默认的3层层级。 L1-L7表示主题层级,默认3层,最大7层,最少2层,最后一层是业务对象,其他层级名称可编辑修改。配置中心配置的层级数,将在“主题设计”模块生效。
对构造好的规范请求进行哈希处理,算法与对RequestPayload哈希处理的算法相同。经过哈希处理的规范请求必须以小写十六进制字符串形式表示。 算法伪代码:Lowercase(HexEncode(Hash.SHA256(CanonicalRequest))) 经过哈希处理的规范请求示例:
拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API 使用数据库本地API加速(系统会尝试启用MySQL数据库的local_infile系统变量)。 是 使用Agent Agent功能待下线,无需配置。 - local_infile字符集
MRS HDFS数据迁移到OBS 操作场景 CDM支持文件到文件类数据的迁移,本章节以MRS HDFS-->OBS为例,介绍如何通过CDM将文件类数据迁移到文件中。流程如下: 创建CDM集群并绑定EIP 创建MRS HDFS连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口,以及AK、SK。
获取Rest Client节点返回值教程 Rest Client节点可以执行华为云内的RESTful请求。 本教程主要介绍如何获取Rest Client的返回值,包含以下两个使用场景举例。 通过“响应消息体解析为传递参数定义”获取返回值 通过EL表达式获取返回值 通过“响应消息体解析为传递参数定义”获取返回值
User账号权限的IAM用户而言,DataArts Studio工作空间角色决定了其在工作空间内的权限。如果您需要与DAYU User账号权限的IAM用户协同使用DataArts Studio实例,请参考创建IAM用户并授予DataArts Studio权限的操作准备必要的IAM用户,然后参考本章节
式概述。 当该角色在简单模式空间下使用时,选择为“开发&生产模式,自定义角色”。 当该角色在企业模式空间下的开发环境下使用时,选择为“开发模式,自定义角色”。 当该角色在企业模式空间下的生产环境下使用时,选择为“生产模式,自定义角色”。 复用预置角色:如果您只需对预置角色权限进行
cs-dgc”。 本示例主机选择“CentOS 8.0 64bit with ARM(40GB)”的公共镜像,并且使用ECS自带的Python环境,您可登录主机后使用python命令确认服务器的Python环境。 已开通数据集成增量包,CDM集群名为“cdm-dlfpyhthon
null, "self": "https://www.example.com/v3/projects" } } 父主题: 使用前必读
User系统角色预置的依赖服务相关权限过大,可能导致相关安全风险。您可以参考如何最小化授权IAM用户使用DataArts Studio,手动调整过大的预置依赖服务权限,使依赖服务权限最小化。 父主题: 授权用户使用DataArts Studio
西南-贵阳一 cn-southwest-2 dayu.cn-southwest-2.myhuaweicloud.com HTTPS 父主题: 使用前必读
CDM未使用数据传输功能时,是否会计费? CDM集群运行状态下,即便未使用也是正常计费的。 如果长期不使用建议删除集群,需要的时候再创建集群。CDM集群计费详情请参考价格详情。 父主题: 数据集成
通过数据开发使用参数传递灵活调度CDM作业 如果CDM作业接收来自数据开发作业配置的参数,则在数据开发模块可以使用诸如EL表达式传递动态参数来调度CDM作业。 本示例介绍的参数传递功能仅支持CDM 2.8.6版本及以上集群。 本示例以执行迁移Oracle数据到MRS Hive的C