检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新目录。 更改NodeManager的存储目录以后,需要重新下载并安装客户端。 前提条件 在各个数据节点准备并安装好新磁盘,并格式化磁盘。 规划好新的目录路径,用于保存旧目录中的数据。 准备好MRS集群管理员用户admin。 操作步骤 MRS 3.x之前的版本集群执行以下操作: 检查环境。
近似值聚合函数 在实际情况下,对大量数据进行统计时,有时只关心一个近似值,而非具体值,比如统计某产品的销量,这种时候,近似值聚合函数就很有用,它使用较少的内存和CPU资源,以便可以获取数据结果而不会出现任何问题,例如溢出到磁盘或CPU峰值。这对于数十亿行数据运算的需求很有用。 approx_median(x)
port”的值。 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-consumer.sh”从输出Topic消费数据,查看统计结果。 cd /opt/client source bigdata_env kafka-console-consumer.sh --topic
port”的值。 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-consumer.sh”从输出Topic消费数据,查看统计结果。 cd /opt/client source bigdata_env kinit 组件操作用户(例如developuser)
Manager页面,在告警列表中,单击此告警所在行的,查看该告警的节点地址。 进入“主机”界面,单击告警的所在节点。 在界面观察“主机CPU使用率”实时数据5分钟左右,若CPU使用率多次超过设置的阈值,请联系MRS集群管理员提升CPU。 排查当前业务量是否处于高峰阶段。若处于高峰阶段导致该告警
> 告警”,在告警列表中展开此告警的详细信息,在定位信息中单击产生该告警的主机名称。 在主机的概览界面观察“每个读操作平均所需时间”的实时数据5分钟左右,若磁盘IO利用率多次超过设置的阈值,请联系MRS集群管理员提升磁盘配置。 如果无“每个读操作平均所需时间”图表,可单击右侧下拉
服务 > ZooKeeper > 配置 > 全部配置 > quorumpeer > 系统”。将GC_OPTS参数中-Xmx的值根据实际情况调大,具体调整方案如下: 单击“实例”,选择对应IP地址的“角色”列的“quorumpeer”,单击图表区域右上角的下拉菜单,选择“定制 > CPU
此参数值表示租户可使用的HDFS存储空间上限,不代表一定使用了这么多空间。 如果参数值大于HDFS物理磁盘大小,实际最多使用全部的HDFS物理磁盘空间。 说明: 为了保证数据的可靠性,HDFS中每保存一个文件则自动生成1个备份文件,即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小
port”的值。 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-consumer.sh”从输出Topic消费数据,查看统计结果。 cd /opt/client source bigdata_env kinit 组件操作用户(例如developuser)
ger都能访问。当前系统提供了三种共享状态信息的方法:通过文件系统共享(FileSystemRMStateStore)、通过LevelDB数据库共享(LeveldbRMStateStore)或通过ZooKeeper共享(ZKRMStateStore)。这三种方式中只有ZooKee
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS出现慢DataNode,会影响HDFS的数据读写性能。 可能原因 HDFS DataNode实例磁盘IO速率低、HDFS DataNode自身处理能力到达瓶颈。 HDFS各DataNode实例之间网络传输速率低。
产生该告警表示HBase服务的znode的容量使用率已经严重超过规定的阈值,会导致HBase服务的写入请求失败。 可能原因 HBase配置了容灾并且容灾存在数据同步失败或者同步速度慢。 HBase集群存在大量的WAL文件在进行split。 处理步骤 检查znode容量配置和使用量 在FusionInsight
产生该告警表示HBase服务的znode的数量使用率已经严重超过规定的阈值,会导致HBase服务的写入请求失败。 可能原因 HBase配置了容灾并且容灾存在数据同步失败或者同步速度慢; HBase集群存在大量的WAL文件在进行split。 处理步骤 检查znode数量配置和使用量 在FusionInsight
配置”,选择“全部配置”。在搜索栏里搜索“GC_OPTS”参数,将“-Xmx”的值根据实际情况调大,并单击“保存”,单击“确定”。 出现此告警时,说明当前Loader实例设置的堆内存无法满足当前数据传输所需的堆内存,建议打开实例监控界面,在页面上调出“Loader堆内存资源状况”监控图表
Broker上分区分布不均衡示例 是,执行13。 否,执行11。 单击最右侧分区不均衡的条柱,查看是否包含5中获取的当前告警上报的节点,如果包含则需要执行数据均衡。 等待5分钟,查看告警是否自动清除。 是,操作结束。 否,执行13。 收集故障信息。 在FusionInsight Manager界面,选择“运维
Broker上分区分布不均衡示例 是,执行13。 否,执行11。 单击最右侧分区不均衡的条柱,查看是否包含5中获取的当前告警上报的节点,如果包含则需要执行数据均衡。 等待5分钟,查看告警是否自动清除。 是,操作结束。 否,执行13。 收集故障信息。 在FusionInsight Manager界面,选择“运维
Broker上分区分布不均衡示例 是,执行13。 否,执行11。 单击最右侧分区不均衡的条柱,查看是否包含5中获取的当前告警上报的节点,如果包含则需要执行数据均衡。 等待5分钟,查看告警是否自动清除。 是,操作结束。 否,执行13。 收集故障信息。 在FusionInsight Manager界面,选择“运维
port”的值。 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-consumer.sh”从输出Topic消费数据,查看统计结果。 cd /opt/client source bigdata_env kinit 组件操作用户(例如developuser)
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS DataNode堆内存使用率过高,会影响到HDFS的数据读写性能。 可能原因 HDFS DataNode配置的堆内存不足。 处理步骤 清除无用文件。 以root用户登录HDFS客户端,用户密码为
匹配请求源,参见选择器属性的配置中--source选项的配置值。 queryType 可选 配置任务类型: DATA_DEFINITION:更改/创建/删除模式/表/视图的元数据的查询,以及管理预准备语句、权限、会话和事务的查询。 DELETE:DELETE查询。 DESCRIBE:DESCRIBE、DESCRIBE