检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
原因分析 在出现告警时间点发现虚拟机发生了重启,告警发生的原因是因虚拟机重启导致的。 经OS定位虚拟机发生重启的原因是节点没有可用的内存,系统发生内存溢出触发了oom-killer,当进程处于被调用的状态会使进程处于disk sleep状态,最终导致虚拟机发生重启。 查看占用的内存进程,发现占用内存都是正常的业务进程。
记录分类统计,得到每个单词记录数。 数据规划 StructuredStreaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据(需要有kafka权限用户)。 确保集群安装完成,包括HDFS、Yarn、Spark和Kafka。 将kafka的Broker配置参数“allow
和业务运行安全。 网络隔离 整个系统部署在公有云上的虚拟私有云中,提供隔离的网络环境,保证集群的业务、管理的安全性。结合虚拟私有云的子网划分、路由控制、安全组等功能,为用户提供高安全、高可靠的网络隔离环境。 资源隔离 MRS服务支持资源专属区内部署,专属区内物理资源隔离,用户可以
Table > Create Table > Disable Table > Drop Table >... 在Disable表时,HMaster会发送RPC请求到RegionServer,RegionServer会将相关Region下线。当RegionServer上的Region关闭所需
Exception: Not replicated yet”错误。 图1 报错信息 回答 以下原因可能造成该报错: HDFS客户端向NameNode发送新Block申请,由于NameNode来不及处理导致超时。 DataNode增量上报太慢,NameNode无法及时分配新的Block。 出
conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如:“/opt/female/user
记录分类统计,得到每个单词记录数。 数据规划 StructuredStreaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据(需要有Kafka权限用户)。 确保集群安装完成,包括HDFS、Yarn、Spark和Kafka。 创建Topic。 {zkQuoru
记录分类统计,得到每个单词记录数。 数据规划 StructuredStreaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据(需要有Kafka权限用户)。 确保集群安装完成,包括HDFS、Yarn、Spark和Kafka。 创建Topic。 {zkQuoru
Table > Create Table > Disable Table > Drop Table >... 在Disable表时,HMaster会发送RPC请求到RegionServer,RegionServer会将相关Region下线。当RegionServer上的Region关闭所需
def getState = count } 带checkpoint的数据源 source算子的代码,该段代码每发送10000条数据休息1秒钟,制作快照时将到目前为止已经发送的数据的条数保存在UDFState中;从快照中状态恢复时,读取UDFState中的数据条数并重新赋值给count变量。
shuffle出现任务失败 问题 使用Hash shuffle运行1000000(map个数)*100000(reduce个数)的任务,运行日志中出现大量的消息发送失败和Executor心跳超时,从而导致任务失败。 回答 对于Hash shuffle,在shuffle的过程中写数据时不做排序操作,只
shuffle出现任务失败 问题 使用Hash shuffle运行1000000(map个数)*100000(reduce个数)的任务,运行日志中出现大量的消息发送失败和Executor心跳超时,从而导致任务失败。 回答 对于Hash shuffle,在shuffle的过程中写数据时不做排序操作,只
两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如:“/opt/female/user
生产者线程执行函数,循环发送消息。 */ public void run() { LOG.info("Producer: start."); // 用于记录消息条数
失败次数达到用户配置的阈值,则发送告警。当Checkpoint恢复正常,或者作业重启成功,则告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45636 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 任务名 产生告警的任务名称。
到用户配置的阈值,则发送告警。当CheckPoint恢复正常,或者作业重启成功,则告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 45636 重要 是 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 应用名 产生告警的应用名称。
在MRS的告警列表中,查看是否有“ALM-19000 HBase服务不可用”告警产生,服务列表中HBase服务是否已停止。 是,如果有告警参考ALM-19000 HBase服务不可用(2.x及以前版本)的处理步骤处理该故障,如果HBase服务已停止,启动HBase服务。执行1.g。 否,执行1.g。 确认Flume
enSSL 1.0.1,需要为操作系统安装较高版本的openssl,以支持使用TLSv1.1和TLSv1.2与集群交互。 操作样例及步骤 发送GET方法访问查询用户列表接口并保存“jsessionid”到“jessionid.txt”文件中: curl -k -i --basic
的互信是否正常,如果存在互信失效的节点,则发送告警。待问题修复,该告警会自动清除。 告警属性 告警ID 告警级别 是否自动清除 12066 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名
OpenTSDB HTTP API接口介绍 OpenTSDB提供了基于HTTP或HTTPS的应用程序接口。请求方式是通过向资源对应的路径发送标准的HTTP请求,请求包含GET、POST方法。它的接口与开源OpenTSDB保持一致,请参见https://opentsdb.net/d