检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
版本类型 LTS版 待创建的MRS集群版本类型,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 集群版本 MRS 3.2.0-LTS.1 待创建的MRS集群版本。 组件选择 实时分析集群 基于系统预置的集群模板选择要购买的集群组件。 可用区 可用区1 选择集群工作区域下关联的可用区。
查看Storm应用调测结果 操作步骤 参考《访问开源组件UI界面》章节,访问Storm Web界面 。 在Storm UI中单击word-count应用,查看应用程序运行情况,如图1所示。 图1 Storm应用程序执行界面 Topology stats统计了最近各个不同时间段的算子之间发送数据的总数据量。
MRS集群默认管理用户为admin,密码为创建集群时用户设置。 或参考如何重置或修改Manager(admin)密码?章节重置用户密码。 集群的用户密码过期或遗忘后,也可使用管理员登录Manager初始化该用户的密码。 登录FusionInsight Manager。 选择“系统 > 权限
s-example-security”,单击“OK”。 将工程依赖的jar包添加到类路径。 如果通过开源镜像站方式获取的样例工程代码,在配置好Maven后(配置方式参考配置华为开源镜像仓), 相关依赖jar包将自动下载,不需手动添加。 将工程中的conf目录添加到资源路径。 在Intellij
Encodings”区域,设置参数值为“UTF-8”,单击“Apply”后,单击“OK”,如图2所示。 图2 设置IntelliJ IDEA的编码格式 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,使用IntelliJ IDEA开发工具时,可选择“File
kafka id: kafka: No such user [root @bdpsit3ap03 ~]# MRS集群中的用户管理由LDAP服务管理提供,又依赖于操作系统的sssd或nscd服务,用户的建立到同步到sssd服务需要一定时间,如果此时用户没有生效,或者sssd版本存在bug
ne客户端创建指定Location为OBS文件系统路径的表,也支持基于Hive Metastore方式对接OBS。 HetuEngine对接OBS MRS集群支持HetuEngine服务在创建表时指定Location为OBS文件系统路径,也支持基于Hive Metastore方式对接OBS。
“数据导出”章节适用于MRS 3.x及后续版本。 简介 Loader是实现MRS与关系型数据库、文件系统之间交换数据和文件的ETL工具,支持将数据或者文件从MRS系统中导出到关系型数据库或文件系统中。 Loader支持如下数据导出方式: 从HDFS/OBS中导出数据到SFTP服务器 从HDFS/OBS中导出数据到关系型数据库
ALM-29015 Catalog进程内存占用率超过阈值 告警解释 以30s为周期检测Catalog进程系统内存占用率,当检测到的超过默认阈值(80%)时,系统产生此告警。 当系统检测到进程内存占用率下降到阈值以下时,告警将自动解除。 告警属性 告警ID 告警级别 是否自动清除 29015
HostName 产生告警的主机名。 对系统的影响 无法进行数据读写和创建表等操作。 可能原因 ZooKeeper服务异常。 HDFS服务异常。 HBase服务异常。 网络异常。 处理步骤 检查ZooKeeper服务状态。 登录MRS集群详情页面,选择“组件管理”。 在服务列表中,查看ZooKeeper健康状态是否为“良好”。
参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 当前BE实例不可用,无法对外提供读写数据功能。 可能原因
对于SSD盘,满足以下任意条件时触发告警: 系统在30秒内,每3秒采集一次数据,连续10周期,svctm时延超过2秒。 系统在30秒内,每3秒采集一次数据,连续10周期,磁盘队列深度(avgqu-sz)> 0,iops = 0或带宽 = 0,且ioutil > 99%。 当系统连续90s内不满足以上所有条件时,告警自动清除。
HostName 产生告警的主机名。 NSName 产生告警的NameService名称。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS存储数据丢失,HDFS可能会进入安全模式,无法提供写服务。丢失的块数据无法恢复。 可能原因 DataNode实例异常。
连接impala-shell失败 用户问题 用户连接impala-shell失败。 问题现象 用户在“组件管理”页面修改任意组件的配置并重启服务后,连接impala-shell,会出现连接失败,报错no such file/directory。 原因分析 修改服务配置并重启服务后
config.properties memory.heap-headroom-per-node 3GB Worker JVM * 0.3。 系统堆单节点最大可用内存。 worker.config.properties extraJavaOptions参数中的Xmx大小 4GB 单个
ALM-27007 数据库进入只读模式 告警解释 系统每30秒周期性检查DBServer主节点的数据目录磁盘空间使用率,当数据目录磁盘空间使用率超过90%时,系统将产生此告警。 当数据目录磁盘空间使用率低于80%时,此告警恢复。 告警属性 告警ID 告警级别 是否自动清除 27007
s-example-security”,单击“OK”。 将工程依赖的jar包添加到类路径。 如果通过开源镜像站方式获取的样例工程代码,在配置好Maven后(配置方式参考配置华为开源镜像仓), 相关依赖jar包将自动下载,不需手动添加。 将工程中的conf目录添加到资源路径。 在Intellij
是,执行2。 否,执行1.b。 根据实际服务的使用情况在“系统设置 > 阈值配置”中更改告警阈值。 等待2分钟,查看告警是否消失。 是,处理完毕。 否,执行2。 判断是否为系统盘。 打开MRS集群详情页面,在告警管理页签的告警列表中,单击此告警所在行,在告警详情中,查看该告警的主机名称和磁盘分区信息。
参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 网口名 产生告警的网口名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务延迟:主机网络写包丢包
产生告警的NameService名称。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS文件数过多,磁盘存储不足可能造成数据入库失败。对HDFS系统性能产生影响。 可能原因 HDFS文件数超过阈值。 处理步骤 检查系统中是否有不需要的文件。 在集群节点使用客户端,执行hdfs