检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
16384 Server 如果所有的任务(map/reduce)需要读写数据至磁盘,多个进程将会同时访问一个磁盘。这将会导致磁盘的IO性能非常低下。为了改善磁盘的性能,请确保客户端并发访问磁盘的数不大于3。
若委托权限较小或参考配置MRS集群用户的OBS的细粒度访问权限配置了MRS用户访问OBS文件系统下的目录的权限,则还需配置回收站目录的操作权限。
在FusionInsight Manager页面,选择“运维 > 告警 > 告警”,在实时告警列表中,单击此告警前的,在“定位信息”中查看角色名并确认实例的IP地址。
以root用户登录备OMS数据库节点。 执行su - omm命令切换到omm用户。 进入“${BIGDATA_HOME}/om-server/om/sbin/”目录,然后执行.
登录FusionInsight Manager界面,选择“集群 > 服务 > meta > 图表”,在“图表分类”选择“OBS数据写操作”,在“OBS的write接口调用失败数-所有实例”图表上查看OBS的write接口调用失败数最大值所在的实例的主机名称,例如,下图所示的主机名称为
可能原因 该节点Yarn ResourceManager实例堆内存使用量过大,或分配的堆内存不合理,导致使用量超过阈值。 处理步骤 检查堆内存使用率。 登录MRS集群详情页面,选择“告警管理”。
登录客户端的节点,执行如下命令: cd {客户端安装路径} source bigdata_env 安全模式(开启Kerberos): kinit 组件业务用户 clickhouse client --host 上报告警的ClickHouseServer实例IP --port 21427
表1 Storm日志列表 日志类型 日志文件名 描述 运行日志 nimbus/access.log Nimbus用户访问日志。 nimbus/nimbus-<PID>-gc.log Nimbus进程的GC日志。
以root用户登录发生该告警的主机IP地址,修改安装目录“${BIGDATA_HOME}/FusionInsight_HD_*/install”下的hadoop目录权限。
处理步骤 使用具有FlinkServer管理操作权限的用户登录Manager。 选择“集群 > 服务 > Yarn”,单击“ResourceManager WebUI”后的链接进入Yarn页面。
若界面显示以下提示信息,请检查用户名密码及远端主机的安全组配置,确保用户名密码正确,及远端主机的安全组已增加SSH(22)端口的入方向规则。然后从2执行重新开始下载客户端。 连接到服务器失败,请检查网络连接或参数设置。
使用root用户登录集群客户端节点,进入客户端安装目录。 su - omm cd /opt/client source bigdata_env 执行以下命令验证集群是否可以访问OBS。
HBase故障排除 HBase客户端连接服务端时,长时间无法连接成功 在HBase连续对同一个表名做删除创建操作时出现创建表异常 HBase占用网络端口,连接数过大会导致其他服务不稳定 有210000个map和10000个reduce的HBase BulkLoad任务运行失败 使用
以omm用户登录IP1节点,分别执行ldapsearch -H ldaps://IP1:PORT -x -LLL -b dc=hadoop,dc=com命令(如果该IP为OMS备节点IP地址,执行该命令之前先执行export LDAPCONF=${CONTROLLER_HOME}/
Spark SQL的程序 Java SparkThriftServerScalaExample 通过JDBC访问Spark SQL的程序 Scala SparkOnHbaseJavaExample-AvroSource Spark on HBase 程序-操作Avro格式数据 Java
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Presto > 实例”,单击告警上报的Worker3,进入“实例状态”页面,单击图表区域右上角的下拉菜单,选择“定制 > 集群状态”,勾选“Presto进程GC时间” ,单击“确定”
登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看该告警的详细信息,在定位信息中查看发生该告警的主机名称、挂载目录名称。单击主机名称,查看对应的IP地址。 使用root用户登录告警上报主机IP节点。
它提供对当前正在处理的记录的元数据的访问 private ProcessorContext context; private KeyValueStore<String, Integer> kvStore;
大部分用户希望只有那些经常被访问的热数据才能一直被存储在昂贵的高速磁盘上,而随着数据的访问热度下降以及时间的老化,这些数据应该被迁移到价格低廉的存储介质上。
HBase故障排除 HBase客户端连接服务端时长时间无法连接成功 在HBase连续对同一个表名做删除创建操作时出现创建表异常 HBase占用网络端口,连接数过大会导致其他服务不稳定 有210000个map和10000个reduce的HBase BulkLoad任务运行失败 使用scan