检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该章节通过指导用户配置集群绑定EIP,并配置Hive文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行hive-jdbc-example样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合(注意如果主机名中出现大写字母要改成小写)。
ALM-24011 Flume证书文件即将过期 本章节适用于MRS 3.2.0及以后版本。 告警解释 Flume每隔一个小时,检查当前Flume证书文件是否即将过期,如果剩余有效期小于或等于30天,产生该告警。证书文件剩余有效期大于30天,告警恢复。 告警属性 告警ID 告警级别
原因:弹出的URL地址(如https://<hostname>:20026/Spark2x/JobHistory2x/xx/history/application_xxx/jobs/),其中的<hostname>没有在Windows系统的hosts文件中添加域名信息,导致DNS查找失败无法显示此网页。
使用Hue WebUI访问HDFS文件失败 问题 在使用Hue WebUI访问HDFS文件时,报如下图所示无法访问的错误提示,该如何处理? 回答 查看登录Hue WebUI的用户是否具有“hadoop”用户组权限。 查看HDFS服务是否安装了HttpFS实例且运行正常。如果未安装
当“/hbase/corrupt”目录不存在或不包含WAL文件时,告警消除。 该告警仅适用于MRS 3.3.0及之后版本。 “hdfs://hacluster”为HBase使用的文件系统名,“/hbase”为HBase在文件系统上的根目录,可登录FusionInsight Manager,选择“集群 >
问: MRS节点访问OBS报错408,怎么办? 答: MRS节点访问OBS报错408时,用户需要更换OBS域名。 修改OBS域名为myhuaweicloud.com后缀的域名即可。 父主题: 作业管理类
如何获取MRS集群ZooKeeper的IP地址和端口? ZooKeeper的IP地址和端口可以通过MRS控制台或登录Manager界面获取。 方法一:通过MRS控制台获取 在MRS集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 选择“组件管理 >
ALM-24012 Flume证书文件已过期 本章节适用于MRS 3.2.0及以后版本。 告警解释 Flume每隔一个小时,检查当前系统中的证书文件是否已过期。如果服务端证书已过期,产生该告警。服务的证书文件恢复到有效期内,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 24012
使用Hue WebUI访问HDFS文件失败 问题 在使用Hue WebUI访问HDFS文件时,报如下图所示无法访问的错误提示,该如何处理? 回答 查看登录Hue WebUI的用户是否具有“hadoop”用户组权限。 查看HDFS服务是否安装了HttpFS实例且运行正常。如果未安装
原因:弹出的URL地址(如https://<hostname>:20026/Spark2x/JobHistory2x/xx/history/application_xxx/jobs/),其中的<hostname>没有在Windows系统的hosts文件中添加域名信息,导致DNS查找失败无法显示此网页。
duce会报类找不到。 处理步骤 方案一: 如果文件较小,则可以将默认长度设置得大于文件最大长度,例如最大的文件是95 MB,则设置: hive.exec.copyfile.maxsize=104857600 方案二: 如果确实文件较大,需要使用distcp任务来提高数据迁移效率
删除大量文件后重启NameNode耗时长 问题 删除大量文件之后立刻重启NameNode(例如删除100万个文件),NameNode启动慢。 回答 由于在删除了大量文件之后,DataNode需要时间去删除对应的Block。当立刻重启NameNode时,NameNode会去检查所有
executeSql(url, sqlList); 样例工程中的data文件需要放到HDFS上的home目录下 保证data文件和创建的表的所属的用户和用户组保持一致 拼接JDBC URL。 HA模式下url的host和port必须为“ha-cluster”。 普通集群需要将样例代码中com
ALM-12015 设备分区文件系统只读 告警解释 系统按60秒周期进行扫描,如果检测到挂载服务目录的设备分区变为只读模式(如设备有坏扇区、文件系统存在故障等原因),则触发此告警。 系统如果检测到挂载服务目录的设备分区的只读模式消失(比如文件系统修复为读写模式、设备拔出、设备被重新格式化等原因),则告警恢复。
hdfs-site文件 在本地选择1获取的“hdfs-site.xml”配置文件,文件名固定。 - core-site文件 在本地选择1获取的“core-site.xml”配置文件,文件名固定。 - krb5文件 开启安全模式时填写此参数。 Kerberos认证用到的配置文件,在本地选择2获取的“krb5
HBase占用网络端口,连接数过大会导致其他服务不稳定 问题 HBase占用网络端口,连接数过大会导致其他服务不稳定。 回答 使用操作系统命令lsof或者netstat发现大量TCP连接处于CLOSE_WAIT状态,且连接持有者为HBase RegionServer,可能导致网络端口耗尽或H
设备 > 主机 > 主机状态 > 主机文件句柄使用率 > 主机文件句柄使用率”修改阈值。 平滑次数为1,主机文件句柄使用率小于或等于阈值时,告警恢复;平滑次数大于1,主机文件句柄使用率小于或等于阈值的90%时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 12053 严重
//失效时间 导入证书文件。 导入新的CA证书文件。 请联系运维人员申请或生成新的CA证书文件并导入。手动清除该告警信息,查看系统在定时检查时是否会再次产生此告警。 是,执行8。 否,处理完毕。 导入新的HA证书文件。 请参考更换HA证书章节,申请或生成新的HA证书文件并导入。手动清除
ALM-14025 租户文件对象使用率超过阈值 告警解释 系统每小时周期性检测租户所关联的每个目录的文件对象使用率(每个目录已使用的文件对象个数/每个目录分配的文件对象个数),并把每个目录实际的文件对象使用率和该目录设置的阈值相比较。当检测到租户所关联的目录文件对象使用率高于该目录的阈值时,产生该告警。
实际运行集群情况进行修改,且该节点ip需要配置到运行样例代码的本机hosts文件中。 “THRIFT_PORT”为ThriftServer实例的配置参数"hbase.regionserver.thrift.port"对应的值。 方法调用 // Get table of specified