检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse数据连接参数说明 表1 OpenSource ClickHouse数据连接 参数 是否必选 说明 数据连接类型 是 OpenSource ClickHouse连接固定选择为MapReduce服务(OpenSource ClickHouse)。 数据连接名称 是 数据连接的名称,
单击左侧导航树中的“权限报告”,进入权限报告页面。 选择MRS集群(Ranger连接) > 服务查看该服务的策略及策略详情。 高级搜索功能: 您在查看报告时,可以使用搜索操作,高级搜索提供了根据集群、策略名称、用户、用户组、策略类型、策略状态来搜索相关策略的功能。您只需单击权限报告页面右上角的“高级搜索”即可弹出搜索框。
Hive连接。 单击“新建连接”,进入相应页面后,选择连接器类型“对象存储服务(OBS)”,单击“下一步”,然后如下图所示配置连接参数,单击“保存”。 图4 创建OBS连接 表1 OBS连接的参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。
如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? 问题描述 如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? 解决方案 CDM服务暂不支持该操作,建议通过手动导出MySQL的数据文件,然后在服务器上开启SFTP服务,然后新建CD
适用于文件到文件的迁移。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,此处的“文件格式”只能选择与源端的文件格式一致。 说明: 当源端为MRS Hive数据源时,仅支持配置CSV格式。 当源端为FTP/SFTP数据源时,仅支持配置二进制格式。 CSV格式
开启可覆盖后,将尝试覆盖Ranger中此用户/用户组的队列权限策略。当覆盖失败时,需要您到Ranger组件中手动删除此用户/用户组的队列权限策略,然后再次重试添加策略。 *访问授权(单击“添加用户”进入配置窗口) 用户名称 选择需要授权的用户/用户组。用户/用户组列表来自于工作空间中已添加的用户/用户组。 权限 submit-app:提交队列任务权限
用户配置的含义即为将权限配置中定义的数据权限,与此处的用户绑定起来。您可以单击“添加”,按照用户或用户组(当前暂不支持选择“工作空间角色”)的维度将用户添加到权限集中。其中的用户和用户组来自于当前工作空间中已添加的用户和用户组。 图8 用户配置 子权限集:在权限集详情页面,单击“子权限集”进入子权限集页签。
步成功并启用细粒度认证后才能生效。 DWS连接联通性测试约束如下: 联通性测试时,系统会使用当前用户账号访问数据源,以确保正常访问。但由于DWS数据源不支持以华为账号直接访问,如果登录账号为华为账号,联通性测试会失败。因此,在DWS联通性测试前,需要先完成用户同步,再将当前登录账
如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以参考创建MRS安全集群的kerberos认证用户创建一个新的密码永不过期MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。
数据开发在跨时区导出导入作业时,需要手动修改expressionTimeZone字段为目标时区。 导出作业 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
DWS数据连接参数说明 表1 DWS数据连接 参数 是否必选 说明 数据连接类型 是 DWS连接固定选择为数据仓库服务(DWS)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。
批量授权API(专享版) 功能介绍 APP创建成功后,还不能访问API,如果想要访问某个API,需要将该API授权给APP。API主动授权成功后,在有效期内,APP即可访问该API。API授权包含授权和续约两部分功能。 授权:授权会给予APP在有效期内访问API的权利。 续约:续约会更新授权有效期,仅支持延长有效期,不能减少。
配置权限集前,已在管理中心创建数据仓库服务(DWS)类型的数据连接,请参考创建DataArts Studio数据连接。 约束与限制 指定的未来表用户需要有对应Schema下的Create表权限。 单个数据库下,Schema视图最多为单个Schema配置200个未来表用户,未来表用户视图最多为单个未来表用户配置200个Schema。
MRS和DWS角色同步时,系统通过管理中心组件数据连接中的用户进行账号相关的增删改查等操作,因此对数据连接中的用户有以下权限要求: MRS Ranger连接中的用户需具备Ranger组件Admin权限。 DWS连接中的数据库用户,在非三权分立模式下至少需具备数据库dbadmin权
密码 配置集群账号映射 IAM用户 对单个IAM用户配置单独的账号映射规则。此处未配置的IAM账号将统一使用默认访问身份进行认证鉴权。 MRS系统用户/ldap账号 配置为单个IAM用户待映射的MRS系统用户或ldap账号及对应密码。 MRS系统用户密码/ldap密码 操作 可通过“
”,即可删除策略。当需要批量删除时,可以在勾选策略后,在策略列表上方单击“批量删除”。 删除操作无法撤销,请谨慎操作。 父主题: 服务资源访问控制
源端为Elasticsearch/云搜索服务 JSON样例 "from-config-values": { "configs": [ { "inputs": [
已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息,具体参见认证前准备。 获取SDK 登录DataArts Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版> SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。
配置ElasticSearch源端参数 表1 ElasticSearch作为源端时的作业参数 参数类型 参数名 说明 是否必须填 取值样例 基本参数 索引 类似关系数据库的schema或数据库名称,整库迁移多索引以逗号分隔。 支持输入索引别名。 支持输入通配符表达式(*)。如果选择了多个索引,索引的结构必须一致。
ges:jobs:getDetail Import GES作业节点运行 ECS ecs:servers:list ecs:servers:get ecs:servers:stop ecs:servers:start ecs:cloudServers:list Open/Close Resource作业节点运行,创建主机连接