检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装补丁 安装补丁 将从OBS路径中下载的补丁(MRS_3.1.0_TROS_Tools_patch_20240430.tar.gz)工具放至主OMS节点的“/home/omm”目录下。 执行如下命令下载补丁,如果已存在,可跳过此步骤。 wget ${补丁下载地址} 补丁下载地址请参考补丁下载地址。
已安装KafkaManager服务的集群。 获取用户“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。 访问KafkaManager的WebUI 登录集群详情页面,选择“组件管理 > KafkaManager”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的
-3将jstack信息打印到.out日志文件里,从而导致.out日志文件过大。 处理步骤 在每个HBase实例的节点上部署定期清理.out日志文件的定时任务。后台登录HBase的实例节点,在crontab -e中添加每天0点清理.out日志的定时任务。 crontab -e 00 00 * * * for
抓取shuffle数据,减少了Executor的压力,在Executor GC的时候也不会影响其他Executor的任务运行。 操作步骤 登录FusionInsight Manager系统。 选择“集群 > 服务 > Spark2x > 配置”。单击“全部配置”。 选择“SparkResource2x
修改集群服务配置参数 用户可通过MRS管理控制台的集群组件配置页面修改各组件的配置参数。 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 选择“组件管理 > 服务名称 > 服务配置”。 下拉列表默认显示“基础配置”,如果需要修改更多参数,请选择“全部配置”,界面上
配无法均匀,进而部分磁盘达到使用率上限)。 如果不清楚哪些Topic业务数据量较大,可以参考如下步骤查询: 根据2中获取到的主机节点信息,登录实例节点。 进入对应的数据目录(即14中“log.dirs”修改之前的配置路径)。 执行以下命令查看该目录下哪些Topic的Partition目录占用的磁盘空间比较大。
Servers”区域的“Base Status”页签中的“ServerName”列的任一RegionServer名称无法跳转到对应信息页。 操作步骤 以root用户登录主OMS所在节点,执行以下命令获取RegionServer对应的URL。 cat /opt/Bigdata/Apache-httpd*/conf/whitelist
nager主节点的hostname。 可以登录Manager界面,选择“集群 > 服务 > Yarn > 实例”查看“ResourceManager(主)”的“主机名称”获取。 8090:ResourceManager的端口号。 可以登录Manager界面,选择“集群 > 服务 >
告警”。记录该告警定位信息中的“主机名”的IP地址为IP1(若出现多个告警,则分别记录其中的IP地址为IP1、IP2、IP3等)。 联系运维人员,登录IP1节点,在这个节点上使用ping命令检查该节点与主OMS节点的管理平面IP是否可达。 是,执行4。 否,执行3。 联系网络管理员恢复网
/hive/warehouse/tbl_d' SELECT * FROM tbl_d; 操作步骤 使用具有Manager界面管理权限的用户登录FusionInsight Manager。 选择“集群 > SQL防御”,单击“添加规则”,输入当前用户密码并单击“确定”,进入添加规则界面。
FO打印,如果直接把INFO关闭会导致部分命令输出结果丢失。例如:RowCounter输出结果为INFO类型: 处理步骤 使用root用户登录安装HBase客户端的节点。 在“HBase客户端安装目录/HBase/component_env”文件中添加如下信息: export H
WebUI页面全量日志时需要展示的日志过大,导致报500内部错误。此时需要把作业生成的聚合日志调小,使其分段生成即可。 处理步骤 以root用户登录安装了Spark2x/Spark客户端的节点。 执行以下命令编辑文件。 vim $SPARK_HOME/conf/log4j-executor
能,能够实现一站式集成多种推送通知方式(短信和邮件通知)。通过配置作业消息通知可以实现您在作业执行成功或作业执行失败时能立即接收到通知。 登录管理控制台。 单击“服务列表”选择“管理与监管 > 消息通知服务”,进入消息通知服务页面。 创建主题并向主题中添加订阅,具体请参考配置MRS集群告警事件消息通知。
于5次时,会造成LDAP用户或管理账户被锁定。用户被锁定之后,5分钟后会自动解锁。 该操作仅适用于MRS 3.x及之后版本。 以omm用户登录主管理节点。 执行以下命令,切换到目录: cd ${BIGDATA_HOME}/om-server/om/ldapserver/ldapserver/local/script
对于手动停用了Ranger鉴权的集群,可参考MRS集群服务启用Ranger鉴权章节重新启用Ranger鉴权。 该章节内容仅适用于开启了Kerberos认证的集群。 操作步骤 登录FusionInsight Manager。 选择“系统 > 权限 > 用户 > 添加用户”。 填写“用户名”,例如“cdl_admin”。
不会持有同一把锁,可以极大提升写性能。 该功能适用于MRS 3.5.0及之后版本。 操作步骤 使用MRS集群管理员用户(例如admin)登录Manager页面。 选择“集群 > 服务 > HDFS > 配置 > 全部配置”进入HDFS全部配置页面。 搜索并修改“dfs.namenode
controller、pms关键文件权限异常,会导致进程故障,可能会影响弹性扩缩容性能。 tomcat关键文件权限异常,会影响Manager页面登录、查看功能。 可能原因 用户手动修改了文件权限、用户和用户组等信息或者系统异常下电等原因导致文件权限异常或文件丢失。 处理步骤 检查异常文件是否存在及异常文件的权限是否正确。
抓取shuffle数据,减少了Executor的压力,在Executor GC的时候也不会影响其他Executor的任务运行。 操作步骤 登录FusionInsight Manager系统。 选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”。单击“全部配置”。
rn.http.policy”。 安全模式下配置为“HTTPS_ONLY”。 普通模式下配置为“HTTP_ONLY”。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,进入客户端安装路径。 cd /opt/client 执行以下命令编辑“yarn-site.xml”文件。
查看Presto的其他日志也未发现原因。 原因分析 Presto的健康检查脚本的端口检查逻辑中未做好端口的区分。 处理步骤 使用工具分别登录集群的Master节点执行如下操作。 执行如下命令编辑文件。 vim /opt/Bigdata/MRS_xxx/install/Fusio