检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS和DWS角色同步时,系统通过管理中心组件数据连接中的用户进行账号相关的增删改查等操作,因此对数据连接中的用户有以下权限要求: MRS Ranger连接中的用户需具备Ranger组件Admin权限。 DWS连接中的数据库用户,在非三权分立模式下至少需具备数据库dbadmin权
主机连接参数说明 表1 主机连接 参数 是否必选 说明 数据连接类型 是 主机连接固定选择为主机连接。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,
String 内网IPv6地址。 public_zone_id String 公网域名ID。 public_zone_name String 公网域名名称。 private_zone_id String 内网域名ID。 private_zone_name String 内网域名名称。 e
Hive数据源。 *数据连接 从下拉列表中选择数据连接类型中已创建的数据连接,若未创建请参考创建DataArts Studio数据连接新建连接。 集群名称 无需选择,自动匹配数据连接中的数据源集群。 权限目标端 *数据源类型 当前仅支持MRS Hetu数据源。 *数据连接 从下拉列表中选
”,即可删除策略。当需要批量删除时,可以在勾选策略后,在策略列表上方单击“批量删除”。 删除操作无法撤销,请谨慎操作。 父主题: 服务资源访问控制
如果安全控制原因不能使用相同子网和安全组,那么需要确保安全组规则能允许CDM访问云搜索服务集群。 CDM集群创建完成后,在集群管理界面选择“绑定弹性IP”,CDM通过EIP访问本地Elasticsearch。 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 创建云搜索服务连接
单击左侧导航树中的“权限报告”,进入权限报告页面。 选择MRS集群(Ranger连接) > 服务查看该服务的策略及策略详情。 高级搜索功能: 您在查看报告时,可以使用搜索操作,高级搜索提供了根据集群、策略名称、用户、用户组、策略类型、策略状态来搜索相关策略的功能。您只需单击权限报告页面右上角的“高级搜索”即可弹出搜索框。
Spark Python作业开发。 案例一:通过MRS Spark Python作业实现统计单词的个数 前提条件: 开发者具有OBS相关路径的访问权限。 数据准备: 准备脚本文件"wordcount.py",具体内容如下: # -*- coding: utf-8 -* import sys
离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 IP或域名 是 待连接的数据库的访问地址,可填写为IP或域名,其中公网IP和内网IP地址均支持。 端口 是 待连接的数据库端口。 KMS密钥 是 通过KMS加解密数据源认证信
String 实例创建时间,格式为ISO8601:YYYY-MM-DDThh:mm:ssZ。 updated String 实例更新时间,格式为ISO8601:YYYY-MM-DDThh:mm:ssZ。 name String 实例名称。 id String 实例ID。 flavor
SFTP/FTP数据连接参数说明 表1 SFTP/FTP数据连接 参数 是否必选 说明 数据连接类型 是 SFTP/FTP连接固定选择为SFTP/FTP。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。
获取集群列表为空/没有权限访问/操作时报当前策略不允许执行? 问题描述 在使用CDM时,可能遇到如下权限相关的问题: 跳转到CDM首页,获取到的集群列表为空。 提示没有权限访问,如图1所示。 执行启动作业/重启集群等操作时,报错当前策略不允许执行,如图2所示。 图1 没有权限访问 图2 不允许创建连接
连接参数 参数 是否必选 类型 说明 linkConfig.host 是 String 配置为Elasticsearch服务器的IP地址或域名,包括端口号,格式为“ip:port”,多个地址之间使用分号(;)分隔,例如:192.168.0.1:9200;192.168.0.2:9200。
MRS Presto数据连接参数说明 表1 MRS Presto数据连接 参数 是否必选 说明 数据连接类型 是 MRS Presto连接固定选择为MapReduce服务(MRS Presto)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。
用DataArts Studio。 约束与限制 由于鉴权缓存机制的限制,自定义角色的权限发生变更后,绑定该角色的工作空间成员权限不会直接生效。需要绑定该角色的工作空间成员暂停访问DataArts Studio控制台并等待6分钟后,才能使该工作空间成员的权限变更生效。 对于工作空间
如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以参考创建MRS安全集群的kerberos认证用户创建一个新的密码永不过期MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。
如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以参考创建MRS安全集群的kerberos认证用户创建一个新的密码永不过期MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。
进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图3所示。 图3 单击新增访问密钥 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret
配置目的端的数据连接。 目的端数据连接以Hudi数据连接为例。选择已创建的数据连接。 图5 选择目的端数据连接 无可选数据连接时,可单击“新建”跳转至管理中心数据连接界面,单击“创建数据连接”创建数据连接,详情请参见创建DataArts Studio数据连接进行配置。 检测网络连通性,测试通过进行下一步源端配置。
Kafka数据连接参数说明 表1 DMS Kafka数据连接 参数 是否必选 说明 数据连接类型 是 DMS Kafka连接固定选择为DMS Kafka。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。