检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入OBS数据至HDFS 登录MRS管理控制台。 选择“现有集群”,选中一集群并单击集群名进入集群信息页面。 若MRS集群为开启Kerberos认证的安全集群,需先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 单击“文件管理”,进入“文件管理”页面。
如“/opt/client”),并配置环境变量。 cd /opt/client source bigdata_env 执行以下命令进行用户认证。(普通模式跳过此步骤) kinit 组件业务用户 执行以下命令登录客户端工具。 zkCli.sh -server <任一ZooKeepe
因此,不支持用户对HDFS上的HBase目录进行quota值设置。上述问题可通过下述步骤解决: 在客户端命令提示符下运行kinit 用户名命令,使HBase用户获得安全认证。 运行hdfs dfs -count -q/hbase/data/<namespace>/<tableName>命令检查分配的磁盘空间quota。
c”目录下的样例工程文件夹“kafka-examples”。 获取配置文件。 若需要在本地Windows调测Kafka样例代码,将准备集群认证用户信息时得到的keytab文件“user.keytab”和“krb5.conf”文件以及准备运行环境配置文件时获取的所有配置文件放置在样
rc/hbase-examples”目录下的样例工程文件夹“hbase-example”。 将在准备MRS应用开发用户时获取的keytab认证文件“user.keytab”与“krb5.conf”,以及准备运行环境时获取的集群配置文件都放置到样例工程中的“hbase-exampl
source bigdata_env source Hive/component_env kinit 组件业务用户(集群未启用Kerberos认证(普通模式)请跳过该操作) 登录Hive客户端,并执行以下命令创建Hive表: beeline create table hivetest(a
因此,不支持用户对HDFS上的HBase目录进行quota值设置。上述问题可通过下述步骤解决: 在客户端命令提示符下运行kinit 用户名命令,使HBase用户获得安全认证。 运行hdfs dfs -count -q/hbase/data/<namespace>/<tableName>命令检查分配的磁盘空间quota。
多主实例模式 多主实例模式的客户端读取ZooKeeper节点中的内容,连接对应的JDBCServer服务。连接字符串为: 安全模式下: Kinit认证方式下的JDBCURL如下所示: jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>
多租户模式 多租户模式的客户端读取ZooKeeper节点中的内容,连接对应的ProxyServer服务。连接字符串为: 安全模式下: Kinit认证方式下的客户端URL如下所示: jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>
keytab、krb5.conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA
操作Hive中所有的数据库和表。 需加入到supergroup用户组,并且授予“Hive管理员权限”。 集群未启用Kerberos认证(普通模式)开启Ranger鉴权 集群未启用Kerberos认证(普通模式)默认关闭Ranger鉴权,如果启用Ranger鉴权,新增以下限制: 白名单限制:未配置的参数将
keytab、krb5.conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:sparkuser,需要修改为准备好的开发用户。 打包项目 将user
keytab、krb5.conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:sparkuser,需要修改为准备好的开发用户。 打包项目 将user
如果是安全集群,需要使用hdfs用户进行权限认证。 source bigdata_env #配置客户端环境变量 kinit hdfs #设置kinit认证 Password for hdfs@HADOOP
keytab、krb5.conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA
创建一个包含有IoTDB组件的MRS集群,详情请参见购买自定义集群。 本文以自定义购买的MRS 3.3.0-LTS.1版本的集群为例,集群已开启Kerberos认证。 集群购买成功后,在MRS集群的任一节点内,安装集群客户端,具体操作可参考安装并使用集群客户端。 例如客户端安装目录为“/opt/client”。
Manager存在节点间网络异常误告警及告警无法自动消除情况。 Gaussdb健康检查异常,导致实例重启。 IAM同步的用户加入supergroup用户组后,无法删除。 高并发认证过程web进程内存增加较多。 Ldap在部分数据主备不一致未能及时触发告警。 Meta缺少进程可用性健康检查。 Manager主备节点同步数据异常,pms目录下存在脏数据。
解决rand函数在0-1直接的随机数字串只能生成0.72左右的问题 解决Hive的WebHcat进程kill后,无法自拉起,无告警上报的问题 解决Kafka在kerberos认证失败之后自动重启存在异常的问题 解决Hudi和Spark目录下的Spring包不兼容的问题 解决Zookeeper配置了配额仍然显示设置顶层配额失败的告警的问题
表1 下载到远端节点配置参数 参数名称 样例 参数说明 主机IP x.x.x.x 远端节点的IP地址。 说明: 远端节点的平台类型需要与所下载客户端的平台类型一致,否则可能导致安装客户端失败。 主机端口 22 远端节点的主机端口。 登录用户名称 xxx 登录远端节点的用户名称。
Manager页面,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如