检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/opt/knox/bin/gateway.sh start 在其他Master节点上重复执行如上步骤。 执行ps -ef |grep knox命令可查看已设置的内存信息。 图1 knox内存 父主题: 性能优化类
检查GC时间。 在FusionInsight Manager首页,单击“运维 > 告警 > 告警”,选中“告警ID”为“45337”的告警,查看“定位信息”中的实例的IP地址及角色名。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 >
在ResourceManager(主)的WebUI界面中,单击提交的MapReduce任务,在打开的页面中查看诊断信息,根据诊断信息再采取相应的措施。 或者也可以通过查看MapReduce日志了解应用运行情况,并根据日志信息调整应用程序。 父主题: MapReduce应用开发常见问题
待连接的IoTDBServer所在的节点IP地址,可通过登录FusionInsight Manage界面,选择“集群 > 服务 > IoTDB > 实例”查看。 RPC端口可通过登录FusionInsight Manager,选择“集群 > 服务 > IoTDB > 配置 > 全部配置”,搜索参
Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。然后选择“集群 > 服务 > ZooKeeper > 实例”。 查看ZooKeeper角色实例的IP地址。 记录ZooKeeper角色实例其中任意一个的IP地址即可。 根据业务情况,准备好客户端,登录安装客户端的节点。
| xargs -0 dos2unix nohup sh install.sh upgrade & 通过tail -f nohup.out查看执行情况(打印“upgrade patch success.”表示执行完成)。 扩容节点安装补丁 将从OBS路径中下载的补丁(MRS_3.1
告警”,在告警列表中展开此告警的详细信息,记录定位信息中的进程名,单击上报的主机名并记录该主机的业务IP地址。 选择“系统 > OMS ”,查看监控图表中“OMS进程内存使用率”,根据告警产生时间查看对应进程的内存使用率是否已达到进程设定的最大内存的阈值(默认90%)。 如果无对应图表,可单击右侧下拉三角,选择“定制”并勾选对应项,单击“确定”。
在FusionInsight Manager首页,选择“运维 > 告警 > 告警 > Oozie进程垃圾回收(GC)时间超过阈值”,检查该告警的“定位信息”。查看告警上报的实例主机名。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Oozie >
上角的下拉菜单,选择“定制 > 垃圾回收”,勾选“NameNode垃圾回收(GC)时间”。查看NameNode每分钟的垃圾回收时间统计情况。 图1 NameNode垃圾回收(GC)时间 查看NameNode每分钟的垃圾回收时间统计值是否大于告警阈值(默认12秒)。 是,执行4。 否,执行7。
Spark运维管理 快速配置参数 常用参数 Spark2x日志介绍 调整Spark日志级别 配置WebUI上查看Container日志 获取运行中Spark应用的Container日志 配置Spark Eventlog日志回滚 配置WebUI上显示的Lost Executor信息的个数
keytab文件不是最新的,或者文件与示例代码里填写登录用户不匹配。 使用客户端环境的时间与连接的集群时间差大于5分钟。 解决措施 检查代码下载最新的用户的认证凭据文件。 查看集群环境和客户端环境的时间是否相差在5分钟之内,若超过5分钟,请修改客户端环境时间。 父主题: Hive应用开发常见问题
huawei.clickhouse.examples.Demo 查看调测结果 ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况。 即查看当前jar文件所在目录的“logs/clickhouse-example
在Spark应用程序运行节点,执行如下命令使用Spark Launcher方式提交。之后,可通过Spark WebUI查看运行情况,或通过获取指定文件查看运行结果,可参见在Linux环境中查看Spark程序调测结果。 java -cp $SPARK_HOME/conf:$SPARK_HOME/j
> 垃圾回收”,勾选“ResourceManager垃圾回收(GC)时间”。查看ResourceManager每分钟的垃圾回收时间统计情况。 图1 定制ResourceManager垃圾回收(GC)时间 查看ResourceManager每分钟的垃圾回收时间统计值是否大于告警阈值(默认12秒)。
口。 开发Spark应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测Spark应用 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。 调优程序 您可以根据程序运行情况,对程序进行调优,使其性能满足业务场景诉求。 调优完成后,请重新进行编译和运行。
failed”的错误。 图2 log4j报错 查看log4j发现用户将“log4j.properties”文件改成了“log4g-cli.properties”(“log4j.properties”的名字是固定的不可随意修改)导致报错。 图3 查看log4j 修改后可以正常提交作业。 图4
检查GC时间。 在FusionInsight Manager首页,单击“运维 > 告警 > 告警”,选中“告警ID”为“45327”的告警,查看“定位信息”中的实例的IP地址及角色名。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 >
检查GC时间。 在FusionInsight Manager首页,单击“运维 > 告警 > 告警”,选中“告警ID”为“45328”的告警,查看“定位信息”中的实例的IP地址及角色名。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 >
检查GC时间。 在FusionInsight Manager首页,单击“运维 > 告警 > 告警”,选中“告警ID”为“45335”的告警,查看“定位信息”中的实例的IP地址及角色名。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 >
检查GC时间。 在FusionInsight Manager首页,单击“运维 > 告警 > 告警”,选中“告警ID”为“45336”的告警,查看“定位信息”中的实例的IP地址及角色名。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 >