检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
apache.hadoop.hive.ql.exec.mr.MapredLocalTask (state=08S01,code=1) ... 查看对应HiveServer日志,发现是启动localtask失败: 2018-04-25 16:37:19,296 | ERROR | Hi
扩展磁盘分区和文件系统时,只能将新增容量扩展至磁盘的尾部分区,系统盘为多分区,故暂不支持系统盘扩容。 确认数据盘扩容是否成功。 在云硬盘列,查看数据盘容量是否扩容至目标容量 。 登录Manager,查看扩容节点的磁盘信息,对应磁盘分区是否扩容成功。 数据盘扩容(手动扩容) 当集群版本为MRS 3.1.2-LTS
使用以下命令统计节点进程的线程数并排序。 ps -efT | awk '{print $2}' |sort -n |uniq -c |sort -n 执行后结果如下: 查看启动线程数最多的进程,案例中进程2346为NameNode进程,启动了5.4万线程,且持续增长。 多次打印对应进程的jstack日志,根据
平滑次数为在告警检查阶段连续检查多少次超过阈值,则发送告警。 单击“操作”列的“修改”,基于实际使用情况,更改告警阈值,单击“确定”。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行5。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 >
平滑次数为在告警检查阶段连续检查多少次超过阈值,则发送告警。 单击“操作”列的“修改”,基于实际使用情况,更改告警阈值,单击“确定”。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行5。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 >
单击“平滑次数”后的编辑按钮,根据实际使用情况,修改平滑次数配置项,单击“确定”。 单击“操作”列的“修改”,基于实际使用情况,更改告警阈值,单击“确定”。 等待两分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行5。 收集故障信息 在FusionInsight Manager界面,选择“运维 > 日志 >
对系统的影响 通信闪断,业务超时。 可能原因 告警阈值配置不合理。 网络环境异常。 处理步骤 检查阈值设置是否合理。 登录MRS Manager,查看该告警阈值是否合理(默认0.5%为合理值,用户可以根据自己的实际需求调节)。 是,执行4。 否,执行2。 根据实际服务的使用情况在“系统设置
MRS集群节点所归属的虚拟私有云网络(VPC),如果没有可用的虚拟私有云,请单击“查看虚拟私有云”进入网络控制台,创建一个新的虚拟私有云。 - 子网 虚拟私有云(VPC)网络内的子网信息,如果没有可用的子网,请单击“查看子网”进入网络控制台,创建一个新的子网。 通过子网提供与其他网络隔离的、
如果需要在UI上查看之前产生的日志,建议将此参数设置为true。 true 在WebUI显示更多历史作业 默认情况下,Yarn WebUI界面支持任务列表分页功能,每个分页最多显示5000条历史作业,总共最多保留10000条历史作业。如果您需要在WebUI上查看更多的作业,可以配
> 备份管理”。 在任务列表指定任务的“操作”列,选择“更多 > 查询历史”,打开备份任务执行历史记录。 在弹出的窗口中,在指定一次执行成功记录的“备份路径”列,单击“查看”,打开此次任务执行的备份路径信息,查找以下信息: “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。
令前建议关闭系统的history命令记录功能,避免信息泄露。 查看是否打开“Security Cookie”开关,即查看配置“flink-conf.yaml”文件中的“security.enable: true”,查看“security cookie”是否已配置成功,例如: security
创建一个新的python3任务,使用Spark读取文件。 图4 创建Python任务 登录到集群Manager界面,在Yarn的WebUI页面上查看提交的pyspark应用。 图5 查看任务运行情况 验证pandas库调用。 图6 验证pandas 对接Jupyter常见问题 pandas本地import使用时,报错如下:
clickhouse-examples-*.jar 查看调测结果 ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况。 即查看当前jar文件所在目录的“logs/clickhouse-example
double getDouble(); void setDouble(double value); } 创建Function Plugin注册类com.test.functions.MyFunctionsPlugin,其内容如下: package com.test.functions;
JDBCExample为举例,具体以实际样例代码为准。 执行run.sh脚本,运行Jar包。 sh /opt/client/IoTDB/iotdb/run.sh 查看调测结果 运行结果会有如下成功信息: 图3 运行结果 父主题: 调测IoTDB应用
在实时告警列表中,单击此告警。在“告警详情”区域,获取告警所在主机地址和磁盘分区。 使用PuTTY工具,以root用户登录告警所在主机。 执行命令df -i 分区名称,查看磁盘当前Inode使用率。 若Inode使用率超过阈值,手工排查该分区存在的小文件,确认是否能够删除这些文件。 是,删除文件,执行6。 否,容量调整。执行7。
-R命令,检查是否所有文件的所有者均是运行Flume Agent的用户。 是,执行3。 否,使用chown命令修改文件属主为运行Flume Agent的用户,执行2.d 查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行3。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。
Manager,选择“集群 > 服务 > Kafka > 配置 > 全部配置”搜索参数“metrics.reporter.zookeeper.url”查看。 “efak.url”的值为MySQL JDBC连接字符串,具体以实际为准。 “efak.username”的值为连接数据库使用的用户名称。
在FusionInsight Manager首页,查看当前的HDFS文件数。HDFS文件数可以通单击“集群 > 待操作集群的名称 > 服务 > HDFS”,单击图表区域右上角的下拉菜单,选择“定制 > 文件和块”,勾选“HDFS文件”和“HDFS块数”监控项查看。 在“集群 > 待操作集群的名称
“运维 > 备份恢复 > 备份管理”。 在任务列表指定任务的“操作”列,选择“更多 > 查询历史”。 在弹出的窗口中,指定一次成功执行的“备份路径”,单击“查看”,打开此次任务执行的备份路径信息,查找以下信息: “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。