检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataStream应用开发思路 编译并运行程序 指导用户将开发好的程序编译并提交运行。 编译并运行Flink应用 查看程序运行结果 程序运行结果会写在用户指定的路径下,用户还可以通过UI查看应用运行情况。 查看Flink应用运行结果 调优程序 您可以根据程序运行情况,对程序进行调优,使其性能满足业务场景需求。
选中“告警ID”为“18009”的告警,查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > MapReduce > 实例 > JobHistoryServer(对应上报告警实例IP地址) > 定制 > JobHistoryServer堆内存使用百分比统计”。查看堆内存使用情况。 查看JobHis
的source.jar。 打包Storm业务 提交拓扑 指导用户将开发好的程序提交运行。 提交Storm拓扑 查看程序运行结果 指导用户提交拓扑后查看程序运行结果。 查看Storm应用调测结果 父主题: Storm应用开发概述
编译并运行程序 指导用户将开发好的程序编译并提交运行。 编译并运行MapReduce应用 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。 查看MapReduce应用调测结果 父主题: MapReduce应用开发概述
index_name 索引表的名称。表名称应由字母数字字符和下划线(_)特殊字符组成。 db_name 数据库的名称。数据库名称应由字母数字字符和下划线(_)特殊字符组成。 table_name 数据库中的表名称。表名称应由字母数字字符和下划线(_)特殊字符组成。 col_name 表中的列名
调整Spark日志级别 配置场景 在某些场景下,当任务已经启动后,用户想要修改日志级别以定位问题或者查看想要的信息。 用户可以在进程启动前,在进程的JVM参数中增加参数“-Dlog4j.configuration.watch=true”来打开动态设置日志级别的功能。进程启动后,就
群所包含的组件内容及特性略有不同,用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等,具体可以查看用户指南。 组件介绍 除共有组件外,普通版集群还支持Presto、Impala、Kudu、Sqoop等组件,可以根据不同集群版本选择不同的
群所包含的组件内容及特性略有不同,用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等,具体可以查看用户指南。 组件介绍 除共有组件外,普通版集群还支持Presto、Impala、Kudu、Sqoop等组件,可以根据不同集群版本选择不同的
调整Spark日志级别 配置场景 在某些场景下,当任务已经启动后,用户想要修改日志级别以定位问题或者查看想要的信息。 用户可以在进程启动前,在进程的JVM参数中增加参数“-Dlog4j.configuration.watch=true”来打开动态设置日志级别的功能。进程启动后,就
的补丁,单击“卸载”,等待补丁卸载成功后,需要按照该章节顺序依次执行相关操作。 当“状态”显示为“卸载失败”时,在“失败任务”中查看错误提示信息,查找相应日志来定位处理。 如果任务失败,选择“重试卸载”,只有当“状态”显示为“可用”时,才能进入下一步操作。 卸载失败或者重试后仍然
式删除某些列如“col1”后,更新parquet文件中以旧的schema写入的列“col1”,在这种情况下,parquet尝试在传入记录中查找所有当前字段,当发现“col1”不存在时,发生上述异常。 解决这个问题的办法是使用所有schema演进版本来创建uber schema,并使用该schema作为target
Finished submitting topology: topo1 执行以下命令,查看Storm中的拓扑。启用Kerberos认证的集群,只有属于“stormadmin”或“storm”的用户可以查看所有拓扑。 storm list 执行以下命令,删除Storm中的拓扑。 storm
可能原因 Kafka服务异常。 网络异常。 Kafka Topic异常。 原因分析 通过Manager页面,查看Kafka集群当前状态,发现状态为“良好”,且监控指标内容显示正确。 查看SparkStreaming日志中提示错误的Topic信息。 执行Kafka相关命令,获取Topic分布信息和副本同步信息,观察返回结果。
在“安全组”中选择待添加的安全组规则所在安全组。 安全组名称可在集群的“概览”界面的“安全组”查看。 添加安全组规则,可单击“添加安全组规则”后的“管理安全组规则”进入当前集群绑定的安全组基本信息界面,单击“入方向规则”,查看规则列表中是否有源地址为当前用户访问集群的IP地址、协议端口为“TCP:9
开发Flink应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 编译并调测Flink应用 查看程序运行结果 程序运行结果会写在用户指定的路径下,用户还可以通过UI查看应用运行情况。 查看Flink应用调测结果 调优程序 您可以根据程序运行情况,对程序进行调优,使其性能满足业务场景需求。
开发Flink应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 编译并调测Flink应用 查看程序运行结果 程序运行结果会写在用户指定的路径下,用户还可以通过UI查看应用运行情况。 查看Flink应用调测结果 调优程序 您可以根据程序运行情况,对程序进行调优,使其性能满足业务场景需求。
在告警列表中,单击此告警所在行,在告警详情中,查看该告警的DBService备服务器地址。 登录主DBService服务器。 执行ping 备DBService心跳IP地址命令检查备DBService服务器是否可达。 是,执行2。 否,执行1.e。 联系网络管理员查看是否为网络故障。 是,执行1.f。
Kafka堆内存使用率超过阈值 > 定位信息”。查看告警上报的实例的IP地址。 单击“组件管理 > Kafka > 实例 > Broker(对应上报告警实例IP地址) > 定制 > Kafka堆内存资源状况”。查看堆内存使用情况。 查看Kafka使用的堆内存是否已达到Kafka设定的最大堆内存的80%。
选中“告警ID”为“43008”的告警,查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Spark > 实例 > JobHistory(对应上报告警实例IP地址) > 定制 > JobHistory直接内存”。单击“确定”,查看直接内存使用情况。 查看JobHistory直接内
详情中,查看该告警的备Manager IP地址。 登录主管理节点。 执行以下命令检查备Manager服务器是否可达。 ping 备Manager IP地址 是,执行2。 否,执行1.c。 联系运维人员查看是否为网络故障。 是,执行1.d。 否,执行2。 修复网络故障,查看告警列表中,该告警是否已清除。