检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-14006 HDFS文件数超过阈值(2.x及以前版本) 告警解释 系统每30秒周期性检测HDFS文件数,并把实际文件数和阈值相比较。当检测到HDFS文件数指标超出阈值范围时产生该告警。 当HDFS文件数指标的值小于或等于阈值时,告警恢复。 告警属性 告警ID 告警级别 可自动清除
在应用开发环境中,导入样例工程到IDEA开发环境。 在IDEA中选择“File > Open”,弹出“浏览文件夹”对话框。 选择样例工程文件夹,单击“OK”。 修改样例工程中的如下参数,请参考表1。 表1 文件参数修改列表 文件名 参数名 值 取值样例 \src\main\resources\job.properties
对系统的影响 业务失败:主机文件句柄使用率超过阈值时,系统应用无法打开文件、网络等IO操作,程序异常,可能会导致作业运行失败。 可能原因 应用进程存在异常,如打开的文件或socket没有关闭。 文件句柄数不满足当前业务需求。 系统环境异常。 处理步骤 查看进程打开文件情况。 打开FusionInsight
通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 用户问题 通过Sqoop读取MySQL数据,然后直接写到OBS,指定parquet格式时写入报错,不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3,用Hcatalog方式写入。
作”列中选择“更多 >下载认证凭据”,保存后解压得到用户的user.keytab文件与krb5.conf文件,用于在样例工程中进行安全认证,如图4所示。 图4 下载认证凭据 参考信息 如果修改了组件的配置参数,需重新下载客户端配置文件并更新运行调测环境上的客户端。 父主题: 准备HBase应用开发环境
自动根据文件的后缀选择对应的解压方法,对文件进行解压。 TEXT_FILE 文件分割方式 选择按文件或大小分割源文件,作为数据导出的MapReduce任务中各个map的输入文件。 选择“FILE”,表示按文件分割源文件,即每个map处理一个或多个完整的源文件,同一个源文件不可分配
即生效。 跳过损坏的文件可能会导致数据丢失,因此如下参数设置为“true”后,如果跳过了损坏的StoreFile文件或WAL文件,服务会上报“ALM-19025 HBase存在损坏的StoreFile文件”或“ALM-19026 HBase存在损坏的WAL文件”告警,请参考相应的告警帮助进行处理。
确认HBase上层应用中原有的配置文件“hbase-site.xml”、“core-site.xml”和“hdfs-site.xml”是否为适配应用运行修改或新增过配置内容。 是,将相关内容同步更新到新的配置文件中,并替换旧的配置文件。 否,使用新的配置文件替换HBase上层应用中原有的配置文件。 配置H
所需的日志级别或修改日志文件大小。日志文件大小需填写单位“MB”。 系统会根据配置的日志大小自动清理日志,如果需要保存更多的信息请设置一个较大的数值。为确保日志文件的完整性,建议根据实际业务量大小,在日志文件基于规则清理前,手动将日志文件备份存储至其他文件夹中。 个别服务不支持通过界面修改日志级别。
IDEA打包出来的jar包放入指定文件夹(例如“D:\source”)。 在样例代码目录“src/storm-examples/storm-examples”下创建“lib”目录,将IntelliJ IDEA中导出的jar包复制到“lib”目录下,并解压。 若业务需要访问外部组件,其所依赖的配置文件请参考相
MonitorServer证书文件即将失效,对系统目前运行无影响。 可能原因 MonitorServer证书文件即将到期。 处理步骤 查看告警信息。 登录FusionInsight Manager首页,选择“运维 > 告警 > 告警 > ALM-24014 MonitorServer证书文件即将过期 >
的配置文件,在本地选择2获取的“krb5.conf”文件。 krb5.conf hbase-site文件 开启安全模式时填写此参数。连接hdfs时,需要的配置文件。在本地选择1获取的“hbase-site.xml”文件。 hbase-site.xml core-site文件 开启
Manager首页,选择“运维 > 告警 > 告警 > ALM-24015 MonitorServer证书文件已过期 > 定位信息”。查看告警上报的实例的IP地址。 检查系统中合法证书文件的有效期,重新生成证书文件。 以root用户登录告警所在节点主机,并执行su - omm切换用户。 执行以下命令
IDEA打包出来的jar包放入指定文件夹(例如“D:\source”)。 在样例代码目录“src/storm-examples/storm-examples”下创建“lib”目录,将IntelliJ IDEA中导出的jar包复制到“lib”目录下,并解压。 若业务需要访问外部组件,其所依赖的配置文件请参考相
-XXX.tar.gz的二进制文件下载,其中XXX为版本号。 将tar.gz包上传到任意目录下(本示例路径为Master节点的/opt)。 登录部署Maxwell的服务器,并执行如下命令进入tar.gz包所在目录。 cd /opt 执行如下命令解压“maxwell-XXX.tar
在应用开发环境中,导入样例工程到IDEA开发环境。 在IDEA中选择“File > Open”,弹出“浏览文件夹”对话框。 选择样例工程文件夹,单击“OK”。 修改样例工程中的如下参数,请参考表1。 表1 文件参数修改列表 文件名 参数名 值 取值样例 \src\main\resources\job.properties
在应用开发环境中,导入样例工程到IDEA开发环境。 选择“File > Open”,弹出“浏览文件夹”对话框。 选择样例工程文件夹,单击“OK”。 修改样例工程中的如下参数,请参考表1。 表1 文件参数修改列表 文件名 参数名 值 取值样例 \src\main\resources\job.properties
功能异常,需要修复。 在主NameNode节点上,系统每5分钟检测其上的FsImage文件的信息。如果在三个合并周期没有新的FsImage文件生成,则系统产生该告警。 当新的FsImage文件生成并成功推送到主NameNode,说明HDFS元数据合并功能恢复正常,告警自动恢复。 告警属性
MonitorServer证书文件非法或已损坏 本章节适用于MRS 3.2.0及以后版本。 告警解释 MonitorServer每隔一个小时,检查当前MonitorServer证书文件是否合法(证书是否存在,证书格式是否正确),如果证书文件非法或已损坏,产生该告警。证书文件恢复合法,告警恢复。
可以直接复制样例目录中“map-reduce”文件夹内的内容到“dataLoad”文件夹,然后进行编辑。 目录中 “oozie-client-*”涉及的版本号以实际版本号为准。 编写流程任务属性文件(job.properties)。 请参见配置Oozie作业运行参数。 编写Workflow任务文件“workflow