检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FlinkServer REST API样例程序 使用代理用户访问FlinkServer REST API样例程序(Java) 父主题: 开发Flink应用
HostName 产生告警的主机名。 RESName 产生告警的资源名称。 对系统的影响 如果Manager的WebService浮动IP地址异常,用户无法登录和使用Manager。如果Manager的数据库异常,所有核心业务和相关业务进程,例如告警和监控功能,都会受影响。 可能原因 浮动IP地址异常。
检查HetuEngine是否缺少HSBroker实例。 在FusionInsight Manager首页,选择“集群 > 待操作的集群名称 > 服务 > HetuEngine > 实例”。 查看是否缺少HSBroker实例。 是,单击“添加实例”,添加缺少的实例。 否,执行23。 在告警列表中,查看“ALM-45000
FangBo 数据规划 Spark Streaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据(需要有Kafka权限用户)。 确保集群安装完成,包括HDFS、Yarn、Spark和Kafka。 本地新建文件“input_data1.txt”,将“log1.t
启角色实例。 NodeManager重启过程中,提交到该节点的Container可能会重试到其他节点。 集群中的NodeManager实例数量和NodeManager内存大小的对应关系参考如下: 集群中的NodeManager实例数量达到100,NodeManager实例的JVM参数建议配置为:-Xms2G
检查弹性伸缩是否关闭 登录华为云管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。 检查Manager是否有正在运行的任务 登录FusionInsight
检查弹性伸缩是否关闭 登录华为云MRS管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。 检查是否有正在运行的任务 登录FusionInsight
使用活动缓存提升HDFS客户端连接性能 操作场景 HDFS部署在具有多个NameNode实例的HA(High Availability)模式中,HDFS客户端需要依次连接到每个NameNode,以确定当前活动的NameNode是什么,并将其用于客户端操作。 一旦识别出来,当前活动
使用活动缓存提升HDFS客户端连接性能 操作场景 HDFS部署在具有多个NameNode实例的HA(High Availability)模式中,HDFS客户端需要依次连接到每个NameNode,以确定当前活动的NameNode是什么,并将其用于客户端操作。 一旦识别出来,当前活动
开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题: MapReduce开发指南(普通模式)
1-hw-ei-311001-SNAPSHOT.jar 由于“$SPARK_HOME/jars/streamingClient010/*”默认没有添加到classpath,所以需要手动配置。 在提交应用程序运行时,在命令中添加如下参数即可,详细示例可参考在Linux环境中调测Spark应用。
地址。 单击“组件管理 > HDFS > 实例”,在实例列表中单击告警节点上的JournalNode实例,查看其“操作状态”是否为“已启动”。 是,执行2.a。 否,执行1.d。 勾选该JournalNode实例,单击“更多 > 启动实例”,等待启动完成。 等待5分钟后,查看告警是否清除。
HDFS应用开发常见问题 HDFS常用API介绍 HDFS Shell命令介绍 配置Windows通过EIP访问普通模式集群HDFS 父主题: HDFS开发指南(普通模式)
rker超过100个时,“-Xmx”设置为不小于5G,以此类推。 重启受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行6。 服务或实例重启过程中,业务会出现中断,待服务或实例重启成功后业务恢复。 收集故障信息。 在FusionInsight Manager界面,选择“运维
使用Spark(MRS 3.x之前版本) 从零开始使用Spark 从零开始使用Spark SQL 使用Spark客户端 访问Spark Web UI界面 Spark对接OpenTSDB
处理步骤 检查knox进程是否异常。 登录FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机名称。 使用PuTTY工具,以root用户登录该告警的主机地址。 执行命令su - omm,切换至omm用户。 执行sh ${BIGDATA_H
式,并支持自定义扩展。 多种客户端连接方式,支持JDBC接口。 Hive的主要应用于海量数据的离线分析(如日志分析,集群状态分析)、大规模的数据挖掘(用户行为分析,兴趣分区,区域展示)等场景下。 为保证Hive服务的高可用性、用户数据的安全及访问服务的可控制,在开源社区的Hive-3
常见操作 修改集群服务配置参数 访问集群Manager 使用MRS客户端
该节点Hive实例直接内存使用量过大,或分配的直接内存不合理,导致使用率超过阈值。 处理步骤 检查直接内存使用率。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“告警ID”为“16006”的告警,查看“定位信息”中的角色名并确定实例的IP地址。
CPU使用率超过阈值”,查看并记录该告警的“定位信息”中上报的主机名。 选择“集群 > 服务 > LdapServer > 实例”,单击4中的主机名对应的SlapdServer实例。 在实例界面观察“SlapdServer CPU使用率”图表的实时数据5分钟左右,查看CPU使用率是否多次超过设置的阈值(默认为75%)。