检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
reporter.alarm.job.alarm.rocksdb.metrics.duration,默认180s)检查作业RocksDB监控数据,如果作业RocksDB的Pending Compaction预估总大小持续达到用户配置的阈值,则发送告警。当作业RocksDB的Pending
应用场景 本章节适用于将线下IDC机房或者公有云Hadoop集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能有差异,具体操作详情以实际版本对应的操作指导为准。
查看MRS集群基本信息 集群创建完成后,可对集群进行监控和管理。选择“现有集群”,选中一集群并单击集群名,进入集群详情页面,查看集群的基本配置信息、网络信息和部署的节点信息等。 ECS集群和BMS集群在管理控制台操作基本一致,本文档主要以ECS集群描述为例,如有操作区别则分开描述。
reporter.alarm.job.alarm.rocksdb.metrics.duration,默认180s)检查作业RocksDB监控数据,如果作业RocksDB持续出现is-write-stopped,则发送告警。当作业RocksDB在同一个告警周期内不再或不连续出现i
Kafka”,查看当前Kafka状态,发现状态为良好,且监控指标内容显示正确。 FusionInsight Manager界面操作:登录FusionInsight Manager,选择“集群 > 服务 > Kafka”,查看当前Kafka状态,发现状态为良好,且监控指标内容显示正确。 查看SparkS
reporter.alarm.job.alarm.rocksdb.metrics.duration,默认180s)检查作业RocksDB监控数据,如果作业RocksDB的Level0层SST文件数持续达到用户配置的阈值(state.backend.rocksdb.level0_
500 轮询监控目录下新文件时的时延。单位:毫秒。 recursiveDirectorySearch false 是否监控配置的目录下子目录中的新文件。 consumeOrder oldest 监控目录下文件的消耗次序。如果配置为oldest或者youngest,会根据监控目录下文件
释放资源:如果您在完成实践后不需要继续使用MRS集群,请及时清理资源以免产生额外扣费。 准备工作 注册账号并实名认证。 在创建MRS集群之前,请先注册华为账号并开通华为云,进行实名认证。 如果您已开通华为云并进行实名认证,请忽略此步骤。 请您保证账户有足够的资金,以免创建MRS集群失败,具体操作请参见账户充值。 已准
下载认证凭据”。 选择认证凭据下载位置,并配置相关参数。 如果下载到服务器或远端节点,请在使用完成后及时删除,避免认证凭据泄漏。 浏览器:下载到本地电脑。 服务器端:下载到集群的主OMS节点上。 文件生成后默认保存在主OMS节点“/tmp/FusionInsight-Keytab/”路径。
S可以帮助用户轻松运维,实时监控,实时发送告警,操作灵活,大数据业务部署更加省心省力。 消息通知 告警管理 MRS可以实时监控大数据集群,通过告警和事件可以识别系统健康状态。同时MRS也支持用户自定义配置监控与告警阈值用于关注各指标的健康情况,当监控数据达到告警阈值,系统将会触发一条告警信息。
Storm集群信息较多超过系统默认Thrift传输大小的设置。 原因分析 查看Storm服务状态及监控指标: MRS Manager界面操作:登录MRS Manager,依次选择“服务管理 > Storm”,查看当前Storm状态,发现状态为良好,且监控指标内容显示正确。 FusionInsight Manager
足。 原因分析 在HBase长时间运行场景下,操作系统会把JVM创建的“/tmp/.java_pid*”文件定期清理。因为HBase的内存监控使用了JVM的jinfo命令,而jinfo依赖“/tmp/.java_pid*”文件,当该文件不存在时,jinfo会执行kill -3将jstack信息打印到
Manager(MRS 3.x及之后版本) 操作场景 MRS 3.x及之后版本的集群使用FusionInsight Manager对集群进行监控、配置和管理。用户在集群安装后可使用账号登录FusionInsight Manager。 当前支持以下几种方式访问FusionInsight
端口被占用导致RegionServer启动失败 问题现象 Manager页面监控发现RegionServer状态为Restoring。 原因分析 通过查看RegionServer日志(/var/log/Bigdata/hbase/rs/hbase-omm-xxx.log)。 使用lsof
nstall/dbservice/ha/module/harm/plugin/script/gsDB/.startGS.fail”这个文件监控。其中XXX是产品版本号。 如果这个文件中的值大于3就会启动失败,NodeAgent会一直尝试重启该实例,此时仍会失败而且这个值每启动失败一次就会加1。
reporter.alarm.job.alarm.rocksdb.metrics.duration,默认180s)检查作业RocksDB监控数据,如果作业RocksDB持续触发写限流,即作业写RocksDB的速率不为0时则发送告警。当作业写RocksDB的速率为0时,则告警恢复。
间不足。 原因分析 在HDFS长时间运行场景下,操作系统会把JVM创建的“/tmp/.java_pid*”文件定期清理。因为HDFS的内存监控使用了JVM的jinfo命令,而jinfo依赖“/tmp/.java_pid*”文件,当该文件不存在时,jinfo会执行kill -3将jstack信息打印到
nator报告快照制作完成,CheckpointCoordinator认为快照制作失败,如图2所示。 图1 时间监控信息 图2 关系图 回答 Flink引入了第三方软件包RocksDB的缺陷问题导致该现象的发生。建议用户将checkpoint设置为FsStateBackend方式。
nator报告快照制作完成,CheckpointCoordinator认为快照制作失败,如图2所示。 图1 时间监控信息 图2 关系图 回答 Flink引入了第三方软件包RocksDB的缺陷问题导致该现象的发生。建议用户将checkpoint设置为FsStateBackend方式。
ALM-24005 Flume传输数据异常(2.x及以前版本) 告警解释 告警模块对Flume Channel的容量状态进行监控,当Channel满的时长超过阈值,或Source向Channel放数据失败的次数超过阈值后,系统发送告警。 用户可通过配置修改阈值:修改对应chann