检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-43019 IndexServer2x进程堆内存使用超出阈值 告警解释 系统每30秒周期性检测IndexServer2x进程堆内存使用状态,当检测到IndexServer2x进程堆内存使用率超出阈值(最大内存的95%)时产生该告警。 MRS 3.3.0-LTS及之后的版本
ALM-43020 IndexServer2x进程非堆内存使用超出阈值 告警解释 系统每30秒周期性检测IndexServer2x进程非堆内存使用状态,当检测到IndexServer2x进程非堆内存使用率超出阈值(最大内存的95%)时产生该告警。 MRS 3.3.0-LTS及之后
ALM-43021 IndexServer2x进程直接内存使用超出阈值 告警解释 系统每30秒周期性检测IndexServer2x进程直接内存使用状态,当检测到IndexServer2x进程直接内存使用率超出阈值(最大内存的95%)时产生该告警。 MRS 3.3.0-LTS及之后
使用Flume服务端从本地采集静态日志保存到HDFS 该任务指导用户使用Flume服务端从本地采集静态日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参考配置Flume加密传输数据采集任
基于binlog的MySQL数据同步到MRS集群中 本章节为您介绍使用Maxwell同步工具将线下基于binlog的数据迁移到MRS Kafka集群中的指导。 Maxwell是一个开源程序(https://maxwells-daemon.io),通过读取MySQL的binlog日
使用Flume服务端从本地采集动态日志保存到HDFS 操作场景 该任务指导用户使用Flume服务端从本地采集动态日志保存到HDFS上“/flume/test”目录下。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使
Yarn日志介绍 日志描述 Yarn相关日志的默认存储路径如下: ResourceManager:“/var/log/Bigdata/yarn/rm”(运行日志),“/var/log/Bigdata/audit/yarn/rm”(审计日志) NodeManager:“/var/l
ALM-12055 证书文件即将过期 告警解释 系统每天二十三点检查一次当前系统中的证书文件,如果当前时间距离证书过期时间小于30天,则证书文件即将过期,产生该告警。 当重新导入一个正常证书,并且状态不为即将过期,在下一个整点触发告警检测机制后,该告警恢复。 MRS 3.2.0及之后版本告警检测周期为:每小时整点。
ALM-16005 Hive服务进程堆内存使用超出阈值 告警解释 系统每30秒周期性检测Hive堆内存使用率,并把实际的Hive堆内存使用率和阈值相比较。当Hive堆内存使用率超出阈值(默认为最大堆内存的95%)时产生该告警。 用户可通过“运维 >告警 > 阈值设置 > 待操作集群的名称
CarbonData性能调优常见配置参数 操作场景 CarbonData的性能与配置参数相关,本章节提供了能够提升性能的相关配置介绍。 操作步骤 用于CarbonData查询的配置介绍,详情请参见表1和表2。 表1 Shuffle过程中,启动Task的个数 参数 spark.sql
MapReduce日志介绍 日志描述 日志默认存储路径: JobhistoryServer:“/var/log/Bigdata/mapreduce/jobhistory”(运行日志),“/var/log/Bigdata/audit/mapreduce/jobhistory”(审计日志)
调测Kafka应用 前提条件 客户端本地能登录MRS服务的弹性云服务器,登录方式详见“弹性云服务器《用户指南》”中“入门 > 登录弹性云服务器”的SSH登录方式。 样例工程在已经通过Maven编译。 示例:Maven工程打包到Linux下运行样例 执行mvn package生成j
ALM-43010 JDBCServer2x进程堆内存使用超出阈值 告警解释 系统每30秒周期性检测JDBCServer2x进程堆内存使用状态,当检测到JDBCServer2x进程堆内存使用率超出阈值(最大内存的95%)时产生该告警。 MRS 3.3.0-LTS及之后的版本中,S
ALM-43012 JDBCServer2x进程直接内存使用超出阈值 告警解释 系统每30秒周期性检测JDBCServer2x进程直接内存使用状态,当检测到JDBCServer2x进程直接内存使用率超出阈值(最大内存的95%)时产生该告警。 MRS 3.3.0-LTS及之后的版本
MapReduce日志介绍 日志描述 日志默认存储路径: JobhistoryServer:“/var/log/Bigdata/mapreduce/jobhistory”(运行日志),“/var/log/Bigdata/audit/mapreduce/jobhistory”(审计日志)
Yarn日志介绍 日志描述 Yarn相关日志的默认存储路径如下: ResourceManager:“/var/log/Bigdata/yarn/rm”(运行日志),“/var/log/Bigdata/audit/yarn/rm”(审计日志) NodeManager:“/var/l
使用Flume服务端从Kafka采集日志保存到HDFS 该任务指导用户使用Flume服务端从Kafka的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参
ALM-19008 HBase服务进程堆内存使用率超出阈值 告警解释 系统每30秒周期性检测HBase服务堆内存使用状态,当检测到HBase服务堆内存使用率超出阈值(最大内存的90%)时产生该告警。 告警属性 告警ID 告警级别 是否自动清除 19008 重要 是 告警参数 参数名称
准备连接Hive集群配置文件 准备集群认证用户信息 对于开启Kerberos认证的MRS集群,需提前准备具有相关组件操作权限的用户用于程序认证。 以下Hive权限配置示例供参考,在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“集群
使用Loader从SFTP服务器导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从SFTP服务器导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。