正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
for the Java Runtime Environment to continue. 使用free指令查看,该节点确实没有足够内存。 解决办法 现场进行排查内存不足原因,确认是否有某些进程占用过多内存,或者由于服务器自身内存不足。 父主题: 使用HBase
原因分析 查看启动HBase服务时manager页面的详细打印信息,提示the previous process is not quit。 解决办法 登录节点,后台通过执行ps -ef | grep HRegionServer发现确实存在一个残留的进程。 确认进程可以终止后,使用ki
DataNode写失败的日志 短时间内写入大量文件导致这种情况,因此DataNode内存不足。 图3 写入大量文件导致DataNode内存不足 解决办法 检查DataNode内存配置,以及机器剩余内存是否充足。 增加DataNode内存,并重启DataNode。 父主题: 使用HDFS
fs”,其他盘的数据比较均衡。 原因分析 磁盘为卸载重装,有一个目录在上次卸载时未卸载干净,即添加的磁盘,未格式化,残留历史垃圾数据。 解决办法 手动清理未卸载干净的数据。 父主题: 使用HDFS
据的分析查询。 实时数据处理 实时数据处理通常用于异常检测、欺诈识别、基于规则告警、业务流程监控等场景,在数据输入系统的过程中,对数据进行处理。 例如在梯联网行业,智能电梯的数据,实时传入到MRS的流式集群中进行实时告警。 图3 梯联网行业低时延流式处理场景 该场景下MRS的优势如下所示。
ClickHouse应用开发建议 合理配置最大并发数 ClickHouse处理速度快是因为采用了并行处理机制,即使一个查询,默认也会用服务器一半的CPU去执行,所以ClickHouse对高并发查询的场景支持的不够。官方默认的最大并发数是100,可以根据实际场景调整并发配置,建议不超过200。
当需要提升Storm数据量处理性能时,可以通过拓扑调优的操作提高效率。建议在可靠性要求不高的场景下进行优化。 表1 调优参数 配置参数 默认值 调优场景 topology.acker.executors null Acker的执行器数量。当业务应用对可靠性要求较低,允许不处理部分数据,可设置
先后顺序对其进行拼接。必须配置一个主键列。 map 是 无 数据处理规则 将字段值输出到HBase表中。 原始数据包含NULL值,如果“NULL值处理方式”选中单选框时,将转换为空字符串并保存。如果“NULL值处理方式”不选中单选框时,不保存数据。 样例 以表输入为例,生成字段后
先后顺序对其进行拼接。必须配置一个主键列。 map 是 无 数据处理规则 将字段值输出到HBase表中。 原始数据包含NULL值,如果“NULL值处理方式”选中单选框时,将转换为空字符串并保存。如果“NULL值处理方式”不选中单选框时,不保存数据。 样例 以表输入为例,生成字段后
Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 问题 Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,执行应用时显示如下异常。
/kylin-coprocessor-1.6.0-SNAPSHOT-0.jar HBase在配置协处理器时,一定要保证对应的jar包路径没有问题,否则HBase会无法启动。 解决办法 使用Kylin对接MRS,确保Kylin相关jar包存在。 父主题: 使用HBase
java:467) 解决办法 若Flume数据写入的组件未启动,启动对应组件;若组件异常,请联系服务技术支持。 Sink未启动,检查配置文件是否配置正确,若配置错误,则正确修改配置文件后重启Flume进程,如果配置正确,则查看日志错误信息,根据具体错误信息指定解决办法。 父主题: 使用Flume
集群添加组件 功能介绍 集群添加组件, 仅MRS 3.0.1以后的版本的自定义集群支持添加组件功能 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/components 表1 路径参数 参数 是否必选
Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 问题 Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,执行应用时显示如下异常。
java.lang.Thread.run(Thread.java:745) DataNode的磁盘空间不足。 DataNode的心跳有延迟。 解决办法 如果DataNode的数据接收器不可用,通过在Manager页面,增加HDFS参数“dfs.datanode.max.transfer
3及之后版本补丁说明 MRS 1.9.2.5补丁说明 表1 补丁基本信息 补丁号 MRS 1.9.2.5 发布时间 2024-05-30 安装前处理 安装此补丁前,如果之前有装过MRS_1x2x_Patch_Diskmgt_20230308.tar.gz补丁,需要先卸载该补丁,卸载完之后请等待10分钟再执行MRS
Storm提供三种级别的数据可靠性: 至多一次:处理的数据可能会丢失,但不会被重复处理。此情况下,系统吞吐量最大。 至少一次:保证数据传输可靠,但可能会被重复处理。此情况下,对在超时时间内没有获得成功处理响应的数据,会在Spout处进行重发,供后续Bolt再次处理,会对性能稍有影响。 精确一次:
Spark Spark jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的Spark包运行样例代码,但是不同版本的spark-core包在使用的时候可能导致互相序列化ID不一样,因此建议使用集群自带jar包。
| grep 20051,发现DBService的Gauss进程在启动时并未绑定floatip,只监测了127.0.0.1的本地IP。 解决办法 重新启动DBService服务。 启动完成之后在主DBServer节点执行netstat -anp | grep 20051命令检查是否绑定了dbservice
ionInsight-Flume-1.9.0/flume/bin/flume-manage.sh: Permission denied 解决办法 与运行正常的Flume节点进行文件和文件夹权限对比,更改错误文件或文件夹权限。 父主题: 使用Flume