检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源端为对象存储 JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
配置权限集 在数据访问权限管理的实际场景下,通常会有一级部门、二级部门、三级部门等多级权限的划分。为此,数据安全组件提供了自上而下分层式的数据权限管理方式。您可以通过空间权限集配置工作空间内的最大权限,在此基础上,将其向下拆分出新的子权限集,提供进一步的细分权限管理。 权限集本质
配置空间权限集 在数据访问权限管理的实际场景下,通常会有一级部门、二级部门、三级部门等多级权限的划分。为此,数据安全组件提供了自上而下分层式的数据权限管理方式。您可以通过空间权限集配置工作空间内的最大权限,在此基础上,将其向下拆分出新的子权限集,提供进一步的细分权限管理。 空间权限集作为DataArts
源端为FTP/SFTP JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
源端为HDFS JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
CDM与其他数据迁移服务有什么区别,如何选择? 华为云上涉及数据迁移的服务有以下几种: 云数据迁移服务 CDM 对象存储迁移服务 OMS 数据复制服务 DRS 主机迁移服务 SMS 数据库和应用迁移 UGO 数据快递服务 DES 上述数据迁移服务的区别请参见各个数据迁移服务区别。
配置HDFS源端参数 作业中源连接为HDFS连接时,即从MRS HDFS、FusionInsight HDFS、Apache HDFS导出数据时,源端作业参数如表1所示。 表1 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可。
配置HDFS源端参数 表1 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可。 hdfs_to_cdm 源目录或文件 “列表文件”选择为“否”时,才有该参数。 待迁移数据的目录或单个文件路径。 该参数支持配置为时间宏变量,且
配置OBS目的端参数 作业中目的连接为OBS连接时,即导入数据到云服务OBS时,目的端作业参数如表1所示。 高级属性里的参数为可选参数,默认隐藏,单击界面上的“显示高级属性”后显示。 表1 OBS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 写入数据的OBS桶名。
启用账号映射(高级特性) 在未启用细粒度认证及账号映射策略的情况下,当在DataArts Studio数据开发组件执行脚本以及测试运行作业时,数据源默认会使用数据连接上的账号进行认证鉴权。因此,即使已通过配置角色/权限集对用户进行权限管控,当用户在进行数据开发时,权限管控依然无法生效。
创建并管理工作空间 购买DataArts Studio实例的用户,系统将默认为其创建一个默认的工作空间“default”,并赋予该用户为管理员角色。您可以使用默认的工作空间,也可以参考本章节的内容创建一个新的工作空间。 DataArts Studio实例内的工作空间作为成员管理、
调试API 功能介绍 调试API。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/apis/{api_id}/instances/{instance_id}/test 表1 路径参数 参数 是否必选 参数类型 描述 project_id
配置角色 数据安全中的角色管理,本质上是基于权限集提供的更加直观、强大的权限管控能力。角色与权限集的不同之处在于,权限集是将用户与权限直接关联,而角色是通过在数据源上创建或纳管一个角色,进而承载用户和权限之间的关联关系。 当您在角色管理页面,为权限集关联了角色之后,权限就不再同步
配置FTP/SFTP源端参数 作业中源连接为FTP/SFTP连接时,源端作业参数如表1所示。 高级属性里的参数为可选参数,默认隐藏,单击界面上的“显示高级属性”后显示。 表1 FTP/SFTP作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源目录或文件 待迁移数
申请与审批权限(部分高级特性) 进行访问权限管理时,除了可以自上而下地通过权限集/角色方式为用户授权外,也支持自下而上的用户权限申请、审批流程。 本章主要描述如何配置审批策略,申请者如何申请权限,以及审批者如何审批权限和回收权限。 在新版本模式下仅当使用企业版时,才支持按字段粒度
创建简单模式工作空间 购买DataArts Studio实例的用户,系统将默认为其创建一个默认的工作空间“default”,并赋予该用户为管理员角色。您可以使用默认的工作空间,也可以参考本章节的内容创建一个新的工作空间。 DataArts Studio实例内的工作空间作为成员管理
For Each节点使用介绍 适用场景 当您进行作业开发时,如果某些任务的参数有差异、但处理逻辑全部一致,在这种情况下您可以通过For Each节点避免重复开发作业。 For Each节点可指定一个子作业循环执行,并通过数据集对子作业中的参数进行循环替换。关键参数如下: 子作业:选择需要循环执行的作业。
配置OBS源端参数 表1 源端为OBS时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 待迁移数据所在的桶名。 BUCKET_2 文件格式 传输数据时使用的格式。 CSV格式:以CSV格式解析源文件,用于迁移文件到数据表的场景。 JSON格式:以JSON格式解析源文
字段转换器配置指导 操作场景 作业参数配置完成后,将进行字段映射的配置,您可以单击操作列下创建字段转换器。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 在创
For Each节点使用介绍 适用场景 当您进行作业开发时,如果某些任务的参数有差异、但处理逻辑全部一致,在这种情况下您可以通过For Each节点避免重复开发作业。 For Each节点可指定一个子作业循环执行,并通过数据集对子作业中的参数进行循环替换。关键参数如下: 子作业:选择需要循环执行的作业。