检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
port”的值。 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-consumer.sh”从输出Topic消费数据,查看统计结果。 cd /opt/client source bigdata_env kafka-console-consumer.sh --topic
port”的值。 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-consumer.sh”从输出Topic消费数据,查看统计结果。 cd /opt/client source bigdata_env kafka-console-consumer.sh --topic
检查HDFS上表目录下所有文件目录的权限,发现有一个目录权限为700(只有文件属主能够访问),确认存在异常目录。 解决办法 确认该文件是否为手动异常导入,如不是数据文件或目录,删除该文件或目录。 当无法删除时,建议修改文件或目录权限为770。 父主题: 使用Hive
list子命令显示provider中所有的密钥名,这个provider由用户在core-site.xml中配置或者由-provider参数指定。-metadata参数显示的是元数据。 表2 Colocation客户端Shell命令 操作 命令 描述 创建组 hdfs colocationadmin -createGroup
参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,Flume即可运行OBS作业。 本章节适用于MRS 3.x及之后的版本。 Flume对接OBS 创建用于存放数据的OBS文件夹。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面。 在OBS控制台并行文件系统列表中,单击已新建的文件系统名称进入详情页面。
> 告警 > 告警”,在告警列表中展开此告警的详细信息,在定位信息中单击产生该告警的主机名称。 在主机的概览界面观察“磁盘IO利用率”的实时数据5分钟左右,若磁盘IO利用率多次超过设置的阈值,请联系MRS集群管理员提升磁盘配置。 如果无“磁盘IO利用率”图表,可单击右侧下拉三角,选择“定制”并勾选对应项,单击“确定”。
> 告警 > 告警”,在告警列表中展开此告警的详细信息,在定位信息中单击产生该告警的主机名称。 在主机的概览界面观察“主机CPU使用率”实时数据5分钟左右,若CPU使用率多次超过设置的阈值,请联系MRS集群管理员提升CPU。 如果无对应图表,可单击右侧下拉三角,选择“定制”并勾选对应项,单击“确定”。
当监控的租户目录下的文件对象使用率超过用户自定义设置的阈值时触发该告警,但不影响对该目录继续写入文件。一旦超过该目录分配的最大文件对象个数,则HDFS写入数据会失败。 可能原因 告警阈值配置不合理。 租户分配的文件目录数上限不合理 处理步骤 查看阈值设置是否合理 查看告警定位信息,获取上报告警的租户名称,租户目录。
port”的值。 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-consumer.sh”从输出Topic消费数据,查看统计结果。 cd /opt/client source bigdata_env kinit 组件操作用户(例如developuser)
ger都能访问。当前系统提供了三种共享状态信息的方法:通过文件系统共享(FileSystemRMStateStore)、通过LevelDB数据库共享(LeveldbRMStateStore)或通过ZooKeeper共享(ZKRMStateStore)。这三种方式中只有ZooKee
port”的值。 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-consumer.sh”从输出Topic消费数据,查看统计结果。 cd /opt/client source bigdata_env kinit 组件操作用户(例如developuser)
配置”,选择“全部配置”。在搜索栏里搜索“GC_OPTS”参数,将“-Xmx”的值根据实际情况调大,并单击“保存”,单击“确定”。 出现此告警时,说明当前Loader实例设置的堆内存无法满足当前数据传输所需的堆内存,建议打开实例监控界面,在页面上调出“Loader堆内存资源状况”监控图表
Broker上分区分布不均衡示例 是,执行13。 否,执行11。 单击最右侧分区不均衡的条柱,查看是否包含5中获取的当前告警上报的节点,如果包含则需要执行数据均衡。 等待5分钟,查看告警是否自动清除。 是,操作结束。 否,执行13。 收集故障信息。 在FusionInsight Manager界面,选择“运维
Broker上分区分布不均衡示例 是,执行13。 否,执行11。 单击最右侧分区不均衡的条柱,查看是否包含5中获取的当前告警上报的节点,如果包含则需要执行数据均衡。 等待5分钟,查看告警是否自动清除。 是,操作结束。 否,执行13。 收集故障信息。 在FusionInsight Manager界面,选择“运维
Broker上分区分布不均衡示例 是,执行13。 否,执行11。 单击最右侧分区不均衡的条柱,查看是否包含5中获取的当前告警上报的节点,如果包含则需要执行数据均衡。 等待5分钟,查看告警是否自动清除。 是,操作结束。 否,执行13。 收集故障信息。 在FusionInsight Manager界面,选择“运维
产生该告警表示HBase服务的znode的容量使用率已经严重超过规定的阈值,会导致HBase服务的写入请求失败。 可能原因 HBase配置了容灾并且容灾存在数据同步失败或者同步速度慢。 HBase集群存在大量的WAL文件在进行split。 处理步骤 检查znode容量配置和使用量 在FusionInsight
产生该告警表示HBase服务的znode的数量使用率已经严重超过规定的阈值,会导致HBase服务的写入请求失败。 可能原因 HBase配置了容灾并且容灾存在数据同步失败或者同步速度慢; HBase集群存在大量的WAL文件在进行split。 处理步骤 检查znode数量配置和使用量 在FusionInsight
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS出现慢DataNode,会影响HDFS的数据读写性能。 可能原因 HDFS DataNode实例磁盘IO速率低、HDFS DataNode自身处理能力到达瓶颈。 HDFS各DataNode实例之间网络传输速率低。
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS DataNode堆内存使用率过高,会影响到HDFS的数据读写性能。 可能原因 HDFS DataNode配置的堆内存不足。 处理步骤 清除无用文件。 以root用户登录HDFS客户端,用户密码为
Services”中选择服务后,需要在“Resource”列中添加具体的资源对象,例如HDFS服务器的文件目录、Yarn的队列、Hive的数据库及表、HBase的表及列。 /testzone 例如针对HDFS中的“/testzone”目录创建一个安全区,配置如下: 单击“Save”,等待安全区添加成功。