检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
生效时间点,包周期实例有效。 expire_days String 过期时间天数,包周期实例有效。 expire_time Number 过期时间点,包周期有效。 lock_check_endpoint String CBC锁定节点域名。 create_user String 创建用户。 create_time
空间的企业项目。 已获取待连接数据源的地址、用户名和密码,且该用户拥有数据导入、导出的操作权限。 新建连接 登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。 或参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。在DataArts
Manager页面的“系统设置”中,单击“用户管理”,在用户管理页面,添加用户,添加一个专有的人机用户作为kerberos认证用户,并且为这个用户添加用户组和分配角色权限,用户组选择superGroup,角色建议全选,然后根据页面提示完成用户的创建。 MRS 2.x及之前版本集群,所创建的用户需要具备Man
确涉密的范围。本章主要介绍如何定义数据密级并配置默认密级。 值得注意的是,数据密级、数据分类和识别规则,均为DataArts Studio实例级别配置,各工作空间之间数据互通。这样在数据地图组件中,就可以根据一套标准的分级分类管理对数据进行统一管理。 前提条件 配置默认密级前,请参考创建密级至少创建1个密级。
ret访问该API。可在应用详细信息中查看AppKey和AppSecret。 图2 查看AppKey和AppSecret AppKey:APP访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 AppSecret:与访问密钥ID
Studio控制台实例 > 资源管理 > 实时资源管理”检查资源组是否运行。 连通性检查异常 请检查“管理中心 > 数据连接”,数据连接是否配置正确,“IP或域名”是否填写的内网IP,绑定Agent是否状态正常。 请检查“DataArts Studio控制台实例 > 资源管理 >
配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同,请根据具体情况配置。 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。
TO '用户名'@'%'; 目标数据库连接账号 MRS用户需要拥有Kafka对应Topic的读写权限,即必须属于kafka/kafkaadmin/kafkasuperuser用户组。 说明: kafka普通用户需要被Kafka管理员用户授予特定Topic的读写权限,才能访问对应Topic。
public_zone_id String 公网域名ID。 public_zone_name String 公网域名名称。 private_zone_id String 内网域名ID。 private_zone_name String 内网域名名称。 enterprise_project_id
如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以参考创建MRS安全集群的kerberos认证用户创建一个新的密码永不过期MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。 说明:
调度中,调用脚本、实例重跑、作业依赖、补数据等场景均是关联脚本/作业最新的已提交版本。 前提条件 已完成脚本开发任务。 提交脚本版本 “提交”会将当前开发态的最新脚本保存并提交为版本,并覆盖之前的脚本版本。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
注册账号并实名认证 账号是您访问华为云的责任主体,有关账号的详细介绍请参见账号中心。此处介绍如何注册一个华为账号。若您已有华为账号,可以略过此部分内容。 打开华为云网站www.huaweicloud.com。 单击页面右上角的“注册”按钮。 在注册页面,根据页面提示完成账号注册。
Manager页面的“系统设置”中,单击“用户管理”,在用户管理页面,添加用户,添加一个专有的人机用户作为kerberos认证用户,并且为这个用户添加用户组和分配角色权限,用户组选择superGroup,角色建议全选,然后根据页面提示完成用户的创建。 MRS 2.x及之前版本集群,所创建的用户需要具备Man
Studio时,需要先切换至授权区域。 创建用户并加入用户组。 在IAM控制台创建用户,并将其加入步骤1中创建的用户组。 创建用户并加入用户组的具体操作,请参见创建用户并加入用户组。 仅当创建IAM用户时的访问方式勾选“编程访问”后,此IAM用户才能通过认证鉴权,从而使用API、SDK等方式访问DataArts
public_dimension 公共维度 public_dimension 图3 主题设计 操作步骤如下: 登录DataArts Studio控制台。找到已创建的DataArts Studio实例,单击实例卡片上的“进入控制台”。 在工作空间概览列表中,找到所需要的工作空间,单击“数据架构”,进入数据架构控制台。
以通过字段映射界面的可自定义新增字段。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 其他场景下,CDM会自动匹配源端和目的端数据表字段,需用户检查字段映射关
以通过字段映射界面的可自定义新增字段。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 其他场景下,CDM会自动匹配源端和目的端数据表字段,需用户检查字段映射关
在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如图1所示。 图1 新建字段转换器 在迁移过程中可以对字段进行转换,目前支持以下字段转换器: 脱敏 去前后空格 字符串反转 字符串替换 去换行 表达式转换 约束限制 作业源端开启“使用SQL语句”参数时不支持配置转换器。 如果在字段映射界面,通过获
数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。 数据库用户名。新建分库连接时,此配置对数据源列表中所有未配置用户名密码的后端连接生效;编辑分库连接时,如需修改已存在的后端连接,请在数据源列表中单独指定用户名密码。 cdm 密码 数据库密码。 - 使用Agent
互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如下图所示。 图1 新建字段转换器 CDM可以在迁移过程中对字段进行转换,目前支持以下字段转换器: 脱敏 去前后空格 字符串反转