检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive用户权限管理 Hive用户权限说明 创建Hive角色 配置Hive表、列或数据库的用户权限 配置Hive业务使用其他组件的用户权限 父主题: 使用Hive
Hive用户权限管理 Hive用户权限说明 创建Hive角色 配置Hive表、列或数据库的用户权限 配置Hive业务使用其他组件的用户权限 父主题: 使用Hive
MRS集群用户鉴权策略 安全模式 大数据平台用户完成身份认证后,系统还需要根据实际权限管理配置,选择是否对用户进行鉴权,确保系统用户拥有资源的有限或全部权限。如果系统用户权限不足,需要由系统管理员为用户授予各个组件对应的权限后,才能访问资源。安全模式或者普通模式集群均提供鉴权能力,组件的具体权限项在两种模式中相同。
配置Hudi通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env
1及后续版本中,MRS集群内组件默认支持数据防误删策略,即组件用户删除的文件数据并不会直接被删除,而是会保存到OBS文件系统内的用户回收站目录中。 为节省OBS使用空间,需参考配置MRS集群组件回收站目录清理策略配置定时自动清理OBS回收站目录中的文件数据。 配置文件中包含认证密码信息可能存在安全风险,
HetuEngine依赖Yarn服务提供的资源分配、控制等能力,需要根据实际业务和集群的服务器配置情况调整Yarn服务配置,以获得最佳的性能效果。 登录FusionInsight Manager页面。 选择“集群 > 服务 > Yarn > 配置 > 全部配置“,参考表1配置Yarn服务参数。 表1
配置Presto通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,Presto即可通过presto_cli.sh客户端创建表存储在OBS中。 Presto对接OBS 未开启Kerberos认证的集群 使用客户端安装用户,登录已安装客户端的节点。
/setNorthBound.sh -t 信息类型 -i 远程服务器IP -p 服务器使用的SFTP或FTP端口 -u 用户名 -d 保存信息的路径 -c 时间间隔(分钟) -m 每个保存文件的信息记录数 -s 备份启停开关 -e 指定的协议 例如: ./setNorthBound.sh -t
如何修改Clickhouse服务的allow_drop_detached配置项? 用root用户登录Clickhouse客户端所在节点。 进入客户端目录,配置环境变量。 cd /opt/客户端安装目录 source bigdata_env 如果当前集群已启用Kerberos认证,
个BE实例节点的可用内存为:物理内存 * mem_limit(BE内存限制百分比)* 20%。 “并发数”:表示单个FE实例可运行查询任务的并发数上限。 “队列长度”:表示超出并发数,在队列中等待执行的查询任务数上限。 “队列等待时长(毫秒)”:表示在队列中,任务的最长等待时间,单位为毫秒。
解锁MRS集群LDAP用户 在用户输入错误密码次数大于允许输入的错误次数,造成用户被锁定的场景下,用户可以通过Manager为锁定的用户解锁(仅支持解锁通过Manager创建的用户),也可以通过登录MRS集群节点后使用命令进行解锁。 如果服务出现异常状态,有可能是系统内部用户被锁定,需及时
Doris用户权限管理 Doris用户权限说明 创建Doris权限角色 配置Doris表的列权限管理 父主题: 使用Doris
对除MRS之外的其他服务授权,IAM支持服务的所有策略请参见权限策略。 示例流程 图1 给用户授权MRS权限流程 创建用户组并授权 在IAM控制台创建用户组,并授予MRS服务对应权限。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限
且已创建数据库,具体请参考创建并配置RDS实例。单击“查看数据库实例”查看已创建的实例。 数据库 dataname 待连接的数据库的名称。 用户名 datauser 登录待连接的数据库的用户名。 密码 - 登录待连接的数据库的密码。 当用户选择的数据连接为“RDS服务MySQL数
配置Flink通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source
save("/tmp/tablePath") 所有参与分区间并发写入的任务,都必须配置上述参数。 不建议同分区内并发写,这种并发写入需要开启Hudi OCC方式并发写入,必须严格遵守并发参数配置,否则会出现表数据损坏的问题。 并发OCC参数控制: SQL方式: --开启OCC。 set
配置Flink通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后,即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source
warehouse.dir配置 保存并重启Hive服务。 (可选)安装客户端,具体请参考安装MRS集群客户端。如果集群已安装客户端请执行4。 更新客户端配置文件。 执行以下命令修改客户端Hive配置文件目录下的“hivemetastore-site.xml”。 vim 客户端安装目录/Hive
t.tar 待安装客户端节点的IP地址:/tmp/clienttemp 以待安装客户端的用户登录将要安装客户端的节点。 在节点上安装客户端可以使用root用户、omm用户或其他任意操作系统用户进行操作,该用户对客户端文件存放目录和安装目录具有操作权限即可,两个目录的权限为“755”。
管理MRS集群用户 集群用户权限概述 MRS集群用户账号一览表 管理MRS集群角色 管理MRS集群用户组 管理MRS集群用户 解锁MRS集群用户 配置MRS集群用户密码策略 配置MRS集群用户私有属性 父主题: 管理MRS集群