检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
生。 是,执行3。 否,执行6。 查看告警信息里的主机名是否和1主机名一致。 是,执行4。 否,执行6。 参考ALM-12006 NodeAgent进程异常文档步骤处理该告警。 在告警列表中查看“JobGateway服务不可用”告警是否清除。 是,处理完毕。 否,执行6。 收集故障信息
HDFS文件数超过阈值。 处理步骤 检查系统中是否有不需要的文件。 在集群节点使用客户端,执行hdfs dfs -ls 文件或目录路径命令,检查该目录下的文件或目录是否是可以删除的无用文件。 是,执行1.b。 否,执行2.a。 执行hdfs dfs -rm -r 文件或目录路径命令。确认删除无用的文件,等待5分钟后,检查本告警是否清除。
以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令df -h |grep DiskName,获取对应的挂载点,查看挂载目录的权限,是否存在不可写或者不可读。 是,执行4。 否,执行8。 如果挂载目录权限为000,或者属主为root,则表示当前状态为不可读不可写。
'{print$1}' 查看命令执行结果中是否包含D、Z、T中的任意一种。 是,执行5。 否,执行7。 切换到root用户,执行reboot命令,重启产生告警主机(重启主机有风险,请确保重启后业务进程正常)。 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行7。 收集故障信息。 在FusionInsight
next(BlockListAsLongs.java:363) 数据目录中数据块的数量会显示为Metric。用户可以通过以下URL对该值进行监视http://<datanode-ip>:<http-port>/jmx,如果该值超过4倍的限定值(4*1M),建议用户配置多个驱动器并重新启动HDFS。
“转包周期中”。 订单支付成功后,集群开始进行转包周期流程,待集群转包周期成功后,集群状态更新为“运行中”。 转包周期后集群原有Task节点计费类型保持按需计费,集群在转包周期过程中已配置的弹性伸缩规则不触发新任务,请选择恰当的时间进行该操作。 父主题: 变更计费模式
使用root用户登录安装客户端的节点,执行以下命令: cd 客户端安装目录 source bigdata_env 如果当前集群为安全模式(开启Kerberos认证),执行以下命令认证当前用户,如果当前集群为普通模式(关闭Kerberos认证),则无需执行本步骤。 kinit 组件业务用户
1:/opt/ 登录客户端所在节点。 执行以下命令创建补丁目录并解压补丁包: mkdir /opt/{MRS补丁版本号} tar -zxf /opt/patch.tar.gz -C /opt/{MRS补丁版本号} 执行客户端补丁升级。 登录客户端所在节点,并执行以下命令: cd /opt/{MRS补丁版本号}/client
1:/opt/ 登录客户端所在节点。 执行以下命令创建补丁目录并解压补丁包: mkdir /opt/{MRS补丁版本号} tar -zxf /opt/patch.tar.gz -C /opt/{MRS补丁版本号} 执行客户端补丁升级。 登录客户端所在节点,并执行以下命令: cd /opt/{MRS补丁版本号}/client
'{print$1}' 查看命令执行结果中是否包含D、Z、T中的任意一种。 是,执行5。 否,执行7。 切换到root用户,执行reboot命令,重启产生告警主机(重启主机有风险,请确保重启后业务进程正常)。 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行7。 收集故障信息。 在FusionInsight
'{print$1}' 查看命令执行结果中是否包含D、Z、T中的任意一种。 是,执行5。 否,执行7。 切换到root用户,执行reboot命令,重启产生告警主机(重启主机有风险,请确保重启后业务进程正常)。 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行7。 收集故障信息。 在FusionInsight
单击“确定”,完成Hudi作业参数配置。 作业参数配置完成后,拖拽图标将作业进行关联,然后单击“保存”,作业配置完成。 在“作业管理”的作业列表中,找到创建的作业名称,单击操作列的“启动”,等待作业启动。 观察数据传输是否生效,例如在opengauss数据库中对表进行插入数据操作,查看Hudi导入的文件内容。 父主题:
普通集群需要将样例代码中com.huawei.bigdata.spark.examples.SecurityKafkaWordCount.scala类中第60行代码 “"security.protocol" -> "SASL_PLAINTEXT",”注释掉。 /** *从Kafka的一个或多个主题消息。
MRS支持在后台配置告警屏蔽状态和平滑次数,告警产生次数小于等于平滑次数时不上报告警信息。 使用PuTTY工具,以omm用户登录主OMS节点。 执行以下命令修改alarm_filter_config.json配置文件,若此文件不存在,则新建此文件。 vi $BIGDATA_HOME/om
以客户端安装用户,登录已安装Kafka客户端的节点。 执行以下命令,切换到Kafka客户端安装目录,例如“/opt/kafkaclient”。 cd /opt/kafkaclient 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令,进行用户认证(普通模式跳过此步骤)。 kinit
DBService服务不可用”告警。 是,执行2。 否,执行3。 参考ALM-27001 DBService服务不可用告警帮助指导对DBService服务状态异常进行处理,待DBService告警消除后,查看“Ranger服务不可用”告警是否清除。 是,处理完毕。 否,执行3。 检查所有RangerAdmin实例。
Spark运维管理 快速配置Spark参数 Spark常用配置参数 Spark日志介绍 获取运行中Spark应用的Container日志 调整Spark日志级别 配置WebUI上查看Container日志 配置WebUI上显示的Lost Executor信息的个数 配置JobHistory本地磁盘缓存
准备OpenTSDB应用开发用户 开发用户用于运行样例工程。用户需要有HBase权限,才能运行OpenTSDB样例工程。 前提条件 MRS服务集群开启了Kerberos认证,没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager,在MRS Manager界面选择“系统设置
准备MapReduce应用开发用户 开发用户用于运行样例工程。用户需要有组件权限,才能运行样例工程。 前提条件 MRS服务集群开启了Kerberos认证,没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager,在MRS Manager界面选择“系统设置
步且未生效,集群管理员可以对集群执行同步配置功能,并在同步配置后重启相关服务实例,使所有服务启用新的配置参数。 前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Man