检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
灰。 是,创建用户并在Ranger中赋予该用户相关操作权限: 选择“系统 > 权限 > 用户 > 添加用户”,在新增用户界面创建一个机机用户,例如developuser。 “用户组”需加入“hadoop”用户组。 使用Ranger管理员用户rangeradmin登录Ranger管理页面。
处理Zookeeper异常 登录FusionInsight Manager,选择“运维 > 告警 > 告警”,进入ZooKeeper服务概览页面,查看ZooKeeper服务是否故障。 是,执行2。 否,执行4。 根据ZooKeeper出现的相关报错信息和告警信息,参考对应的ZooK
用于系统的可用性和容错。 NodeManager 负责执行应用程序的容器,同时监控应用程序的资源使用情况(CPU、内存、硬盘、网络)并且向ResourceManager汇报。 ResourceManager 集群的资源管理器,基于应用程序对资源的需求进行调度。资源管理器提供一个调
EIP访问MySQL。 图3 集群列表 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 步骤3:创建MySQL连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面。 图4 选择连接器类型
MRS 2.1.0.1 修复问题列表: MRS Manager 优化V2作业提交hive sql返回结果、解决委托token提交V2作业失败问题。 MRS大数据组件 MRS Hive解决hive server内存泄露问题:HIVE-10970、HIVE-22275。 补丁兼容关系 MRS
10003(kafka) 解决办法 MRS Manager界面操作: 登录MRS Manager。 选择“系统设置 > 用户管理”。 在操作用户对应的“操作”列,单击“修改”。 为用户加入kafkaadmin组。 图1 修改用户组 通过命令id查询用户组信息。 [root@host1
可。角色被用户绑定时不可删除;如需删除,请先通过修改用户解除角色和用户之间的关联,再删除该角色。 示例:创建Manager角色(MRS 3.x及之后版本) 选择“系统 > 权限 > 角色”。 单击“添加角色”,在“角色名称”和“描述”输入角色名字与描述。 在“配置资源权限”区域选
(例如shuffle文件是否过大)、监控Hive、HetuEngine、Spark的关键HDFS目录(不支持OBS)是否过大。对于占用存储资源(本地磁盘或者关键HDFS目录)过大的作业上报事件。 本章节内容仅适用于MRS 3.5.0及之后版本。 监控的HDFS目录请参见表1。 表1
要角色授权。用户在Hive和HDFS中对自己创建的数据库或表拥有完整权限,可直接创建表、查询数据、删除数据、插入数据、更新数据以及授权他人访问表与对应HDFS目录与文件。 如果用户访问别人创建的表或数据库,需要授予权限。所以根据HetuEngine使用场景的不同,用户需要的权限可能也不相同。
conf、user.keytab文件不是最新的,或者文件与示例代码里填写登录用户不匹配。 使用客户端环境的时间与连接的集群时间差大于5分钟。 解决措施 检查代码下载最新的用户的认证凭据文件。 查看集群环境和客户端环境的时间是否相差在5分钟之内,若超过5分钟,请修改客户端环境时间。
Tez任务仅在一个任务中就能完成同样的处理过程,任务之间不需要访问HDFS。 Tez和Yarn间的关系 Tez是运行在Yarn之上的计算框架,运行时环境由Yarn的ResourceManager和ApplicationMaster组成。其中ResourceManager是一个全新的资源管理系统,而Applicat
-p数据库登录用户密码 -P数据库连接端口 -hDoris FE实例IP地址 数据库连接端口为Doris FE的查询连接端口,可以通过登录Manager,单击“集群 > 服务 > Doris > 配置”,查询Doris服务的“query_port”参数获取。 Doris FE实例IP地
aster1和Master2之间会切换,Master1节点不一定是MRS Manager的主管理节点,需要在Master1节点中执行命令,确认MRS Manager的主管理节点。命令请参考2.d。 以root用户使用密码方式登录Master1节点。操作方法,请参见登录集群节点章节。
安装目录为“/opt/client”。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码(普通模式不涉及)。 操作步骤 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。
安装目录为“/opt/client”。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码(普通模式不涉及)。 操作步骤 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。
e(FSNamesystem.java:5916) 问题根因: 执行balance需要使用管理员账户 解决方法 安全版本 使用hdfs或者其他属于supergroup组的用户认证后,执行balance 普通版本 执行HDFS的balance命令前,需要在客户端执行su - hdfs命令。
SIMPLE:普通集群,表示Kerberos认证关闭,用户可使用集群提供的所有功能。 KERBEROS:安全集群,表示Kerberos认证开启,普通用户无权限使用MRS集群的“文件管理”和“作业管理”功能,并且无法查看Hadoop、Spark的作业记录以及集群资源使用情况。如果需要使用集群更多功能,需要找Manager的管理员分配权限。
若集群未开启Kerberos认证,无需执行本步骤。 IAM用户同步完成后,请等待5分钟,再进行提交作业,更多IAM用户同步说明请参考IAM用户同步MRS集群说明。 当IAM用户的用户组的所属策略从MRS ReadOnlyAccess向MRS CommonOperations、MRS
默认值 spark.sql.shuffle.partitions shuffle操作时,shuffle数据的分块数。 200 父主题: SQL和DataFrame
Kerberos认证 登录Manager管理页面时是否启用Kerberos认证。 关闭 用户名 Manager管理员用户,目前默认为admin用户。 admin 密码 配置Manager管理员用户的密码。 xxx 确认密码 再次输入Manager管理员用户的密码。 xxx 登录方式 登录集群ECS节点的方式。