检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持分发、聚合、选择等工作流程模式。 与Hadoop生态系统各组件紧密结合。 流程变量支持参数化。 支持流程定时触发。 自带一个Web Console,提供了流程查看、流程监控、日志查看等功能。 父主题: Oozie应用开发概述
数据,并注入到Window算子中。 window算子每隔1秒钟统计一次最近4秒钟内数据数量。 每隔1秒钟将统计结果打印到终端。具体查看方式请参考查看Flink应用调测结果。 每隔6秒钟触发一次checkpoint,然后将checkpoint的结果保存到HDFS中。 父主题: Flink开启Checkpoint样例程序
数据,并注入到Window算子中。 window算子每隔1秒钟统计一次最近4秒钟内数据数量。 每隔1秒钟将统计结果打印到终端。具体查看方式请参考查看Flink应用调测结果。 每隔6秒钟触发一次checkpoint,然后将checkpoint的结果保存到HDFS中。 父主题: Flink开启Checkpoint样例程序
ase服务的操作,会导致业务中断,请谨慎操作,同时需要关注业务侧数据积压问题。 查看HDFS服务是否正常。 登录FusionInsight Manager,选择“集群 > 服务 > HDFS”,查看“运行状态”是否为“良好”。 是,执行3。 否,执行2。 根据HDFS上报告警的相
重启期间服务业务可能受损或中断,建议选择业务低峰期操作。 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行5。 查看是否有关联告警 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”中查看是否存在告警“ALM-14002 DataNode磁盘空间使用率超过阈值”。 是,执行6。
单击“保存”保存配置,单击“提交”提交作业。 返回作业管理页面,可以查看到已创建的作业名称、类型、状态、作业种类和描述等信息。 作业创建完成后,可在对应作业的“操作”列对作业进行启动、开发、停止、编辑、删除、查看作业详情和Checkpoint故障恢复等操作。 若要使用其他用户在节
Kafka > 实例”,进入Kafka实例页面。 查看所有Broker实例中是否有故障的节点。 是,记录当前节点主机名,并执行3。 否,执行5。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”。查看所有告警信息中是否有2中节点主机对应的故障告警,根据对应的告警指导进行处理。
Finished submitting topology: topo1 执行以下命令,查看Storm中的拓扑。启用Kerberos认证的集群,只有属于“stormadmin”或“storm”的用户可以查看所有拓扑。 storm list 执行以下命令,删除Storm中的拓扑。 storm
处理步骤 查看磁盘容量,清除无用文件。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > HDFS”。 在“图表”区域“实时”栏中,通过监控项“HDFS磁盘容量比率”查看HDFS磁盘使用率是否超过阈值(默认为80%)。若未查看到该监控
LdapServer > 其他 > SlapdServer CPU使用率”,查看告警的平滑次数和告警阈值是否设置合理。 是,执行4。 否,执行2。 根据实际CPU使用情况修改平滑次数和告警阈值,并应用修改后的规则。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行4。 检查CPU使用率是否达到上限。
dir被设置为/tmp,因此默认使用系统/tmp目录。 但存在一些特殊情况,如driver进程未正常退出,比如被kill -9命令结束进程,或者Java虚拟机直接崩溃等场景,导致driver的退出流程未正常执行,则可能导致该部分目录无法被正常清理,残留在系统中。 当前只有yarn-client模
程接口。 开发HDFS应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测HDFS应用 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。 调测HDFS应用 父主题: HDFS开发指南(安全模式)
提供了Java语言的样例工程。 开发Oozie应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测Oozie应用 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。 调测Oozie应用 父主题: Oozie应用开发概述
程接口。 开发HDFS应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测HDFS应用 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。 调测HDFS应用 父主题: HDFS开发指南(安全模式)
命令:netstat -nap | grep 20051查看占用20051端口的进程。 使用kill命令强制终止使用20051端口的进程。 约2分钟后,再次执行命令:netstat -nap | grep 20051,查看是否还有进程占用该端口。 确认占用该端口进程所属的服务,并修改为其他端口。
Nimbus堆内存使用率超过阈值 > 定位信息”,查看告警上报的实例的HostName。 单击“组件管理 > Storm > 实例 > Nimbus(对应上报告警实例HostName) > 定制 > Nimbus堆内存使用率”,查看堆内存使用情况。 查看Nimbus使用的堆内存是否已达到Nimbus设定的最大堆内存的80%。
Yarn集群中的所有NodeManager节点异常。 处理步骤 检查ZooKeeper服务状态。 登录MRS集群详情页面,选择“告警管理”。 在告警列表中,查看是否有“ALM-13000 ZooKeeper服务不可用”产生。 是,执行1.c。 否,执行2.b。 参考ALM-13000 ZooKeeper服务不可用(2
相关业务结束,需要终止大数据集群等。 用户想要及时得知这些操作是否执行成功,以及当集群出现大数据服务不可用,或节点故障时,用户希望不用频繁登录集群查看,就可以及时地收到告警通知。MRS联合消息通知服务(SMN),可以将以上信息主动地通知到用户的手机及邮箱,让维护更加省心省力。 客户价值
停止删除MRS集群作业 用户可以在管理控制台手动停止正在运行的MRS作业。 在作业执行完成后,若不需要再查看使用作业相关信息,可以选择删除作业。 停止MRS集群作业 Spark SQL作业不支持停止。作业停止后状态更新为“已终止”,并且该作业不可重新执行。 登录MRS管理控制台。
勾选待操作主机前的复选框。 在“更多”选择“健康检查”启动任务。 健康检查的结果可直接在检查列表左上角单击“导出报告”,选择导出结果。如果发现问题,可以单击“查看帮助”。 执行集群节点健康检查(2.x及之前版本) 登录MRS Manager。 单击“主机管理”。 勾选待检查主机前的复选框。 选择“更多