检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果需要在UI上查看之前产生的日志,建议将此参数设置为true。 true 在WebUI显示更多历史作业 默认情况下,Yarn WebUI界面支持任务列表分页功能,每个分页最多显示5000条历史作业,总共最多保留10000条历史作业。如果您需要在WebUI上查看更多的作业,可以配
通过客户端安装目录“/opt/client/HDFS/hadoop/logs”下的hadoop-root-balancer-主机名.out查看。 如果需要停止Balance任务,请执行以下命令: bash /opt/client/HDFS/hadoop/sbin/stop-balancer
通过客户端安装目录“/opt/client/HDFS/hadoop/logs”下的hadoop-root-balancer-主机名.out查看。 如果需要停止Balance任务,请执行以下命令: bash /opt/client/HDFS/hadoop/sbin/stop-balancer
Workflow”),可以直接单击该名称进行修改,例如“Distcp-Workflow”。 保存完成后,单击,提交该作业。 作业提交后,可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 父主题: 使用Hue提交Oozie作业
启动调试。 在IDEA菜单栏中选择“Run > Debug 'Unnamed'”开启调试窗口,接着开始SparkPi的调试,比如单步调试、查看调用栈、跟踪变量值等,如图5所示。 图4 调试 父主题: Spark应用开发常见问题
图4 设置断点 启动调试。 在IDEA菜单栏中选择“Run > Debug 'Unnamed'”开启调试窗口,接着开始调试,比如单步调试、查看调用栈、跟踪变量值等,如下图所示。 图5 调试 父主题: Storm应用开发常见问题
告警阈值,单击“确定”。 连接数较多时,请确认连接的必要性,否则会对服务的性能造成影响,甚至可能造成服务不可用。 等待两分钟,在告警列表中查看该告警是否清除。 是,处理完毕。 否,执行5。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 >
检查上报告警的JDBCServer实例的请求来源 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“ID”为“43028”的告警,查看“定位信息”中的角色名以及确认主机名所在的IP地址。 在FusionInsight Manager首页,选择“集群 > 服务 > Spark
ClickHouse节点磁盘使用率超过90%,节点进入只读模式。 处理步骤 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看当前告警“定位信息”中的角色名以及确认主机名所在的IP地址。 扩容告警上报节点的磁盘容量。 扩容失败,或扩容后告警仍然没有消除,执行4。 扩容后仅当profiles
Workflow”),可以直接单击该名称进行修改,例如“Distcp-Workflow”。 保存完成后,单击,提交该作业。 作业提交后,可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 父主题: 使用Hue提交Oozie作业
更改操作包括添加、删除或更新JAR文件。 dfs <dfs command> 执行dfs命令。 <query string> 执行Hive查询,并将结果打印到标准输出。 父主题: 使用Hive
服务 > Oozie > 实例”,即可获取任一oozie实例的IP地址;单击“配置”,在搜索框中搜索“OOZIE_HTTPS_PORT”,即可查看使用的端口号。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文
等待ZooKeeper服务滚动重启完成。 滚动重启ZooKeeper服务请在ClickHouse业务空闲或低峰期进行操作。 请等待两小时后查看告警是否恢复。 是,操作结束。 否,执行3。 收集故障信息 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
P地址。 选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper”,单击“资源”进入资源页面,在表“连接数(按客户端IP)”中查看告警对应客户端IP的连接数是否较大。 是,执行3。 否,执行4。 请确认并排查该客户端是否存在进程连接泄露的情况。 单击“连接数(按客户端
可能原因 数据目录权限被篡改。 数据目录所在磁盘故障。 处理步骤 检查故障的数据目录权限。 根据告警提示的主机信息,登录到该节点上。 查看告警详细信息中所提示的数据目录及其子目录,属组是否为omm:wheel。 是,记录当前节点主机名,并执行4。 否,执行3。 恢复数据目录及其子目录的属组为omm:wheel。
选择“false”,表示关闭压缩。 true 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 数据导出
submitTopology(args[0], conf, builder.createTopology()); } 部署运行及结果查看 在Storm示例代码根目录执行如下命令打包:"mvn package"。执行成功后,将会在target目录生成storm-examples-1
“.*test.*”。 单击“刷新”,在“目录名称”查看筛选的表。 单击“同步”保存筛选结果。 输入正则表达式时,可以使用和增加或删除一条表达式。 如果已选择的表或目录不正确,可以单击“清除选中节点”清除勾选。 单击“校验”查看备份任务的配置是否正确。 校验失败可能存在以下原因:
可能原因 磁盘老化。 处理步骤 更换磁盘。 在FusionInsight Manager界面,选择“运维 > 告警 > 告警”。 查看该告警的详细信息,查看定位信息中对应的“主机名”字段和“磁盘名”字段的值,获取该告警上报的故障磁盘信息。 更换硬盘。 检查告警是否清除。 是,操作结束。
选择“false”,表示关闭压缩。 true 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 创建Loader数据导出作业