检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
路径名 异常的文件路径或者名称。 对系统的影响 导致文件所属服务功能不正常。 okerberos、oldap关键文件配置异常,会导致认证失败,可能会导致作业运行失败。 controller、pms关键文件配置异常,会导致进程故障,可能会影响弹性扩缩容性能。 tomcat关键文件配置异常
摘要:表示查看选中的文件或目录的HDFS存储信息。 上传用户文件 在“文件浏览器”界面,单击“上传”。 在弹出的上传文件窗口中单击“选择文件”或将文件拖至窗口中,完成文件上传。 创建新文件或者目录 在“文件浏览器”界面,单击“新建”。 选择一个操作。 文件:表示创建一个文件,输入文件名后单击“创建”完成。
败,产生一些临时文件,且没有读写可执行权限。如果这些文件产生在该告警的监控范围内,那么系统会上报该告警,告警原因可以看到是由于产生的临时文件权限异常导致,可以参照上述告警处理流程处理该告警,或者确认权限异常文件为临时文件后,可以直接删除。sed命令产生的临时文件类似于下图。 收集故障信息。
指定输入的文件或者输入的目录,输入的目录中如果存在当前格式则解析,如果不存在则跳过。可以指定本地文件或者目录,也可以指定HDFS/OBS文件或者目录。 input-directory 输入数据文件所在的目录,子文件多个的情况下使用。 例如,执行以下命令排查orc文件“hdfs://hac
java_pid*”文件定期清理。因为HBase的内存监控使用了JVM的jinfo命令,而jinfo依赖“/tmp/.java_pid*”文件,当该文件不存在时,jinfo会执行kill -3将jstack信息打印到.out日志文件里,从而导致.out日志文件过大。 处理步骤 在每个HBase实例的节点上部署定期清理
如何处理集群内部OBS证书过期 用户问题 用户在MRS集群中访问OBS服务过程中出现证书过期问题。 问题现象 MRS集群产生“ALM-12054 证书文件失效”或“ALM-12055 证书文件即将过期”告警,且告警详情中触发告警的证书为OBS证书。 图1 OBS证书即将过期告警 图2
集群外节点安装客户端上传HDFS文件失败 用户问题 集群外节点安装客户端使用hdfs命令上传文件失败。 问题现象 在集群节点上安装客户端,在该客户端使用hdfs命令上传一个文件,报如下错误: 图1 上传文件报错 原因分析 从错误截图可以看到报错是no route to host,且报错信息里面有192
es_ClientConfig_ConfigFiles.tar”,继续解压该文件。 进入客户端配置文件解压路径的“Kafka\config”,获取Kafka表1中相关配置文件。 表1 配置文件 配置文件 作用 client.properties Kafka的客户端的配置信息。 consumer
topology.node.switch.mapping.impl配置项不是hadoop的默认值,需要使用Spark的jar包,因此MapReduce会报类找不到。 处理步骤 方案一: 如果文件较小,则可以将默认长度设置得大于文件最大长度,例如最大的文件是95 MB,则设置: hive.exec
tar”,继续解压该文件。 进入客户端配置文件解压路径“*\Spark\config”,获取Spark配置文件,并所有的配置文件导入到Spark样例工程的配置文件目录中(通常为“resources”文件夹)。 复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中。 在
否判断是否刷新首页面的app显示信息。如果文件为第一次查看,则将当前文件大小与0作比较,如果大于0则读取该文件。 分组的情况下,如果执行的app没有job处于执行状态,则part文件为空,即JobHistory服务不会读取该文件,此app也不会显示在JobHistory页面上。但
属性名 描述 “Name” 表示目录或文件的名称。 “Size” 表示文件的大小。 “User” 表示目录或文件的属主。 “Group” 表示目录或文件的属组。 “Permissions” 表示目录或文件的权限设置。 “Date” 表示目录或文件创建时间。 在搜索框输入关键字,系统会在当前目录自动搜索目录或文件。
是否成功来判断。 如果集群为安全集群,可能是Flink的SSL证书配置错误,或者证书过期。 解决方法 增加队列的资源。 排除用户jar包中的Flink和Hadoop依赖,依赖环境中的jar包。 重新配置Flink的SSL证书,可参考从零开始使用Flink。 父主题: 作业管理类
ALM-14006 HDFS文件数超过阈值 告警解释 系统每30秒周期性检测HDFS文件数,并把实际文件数和阈值相比较。当检测到HDFS文件数指标超出阈值范围时产生该告警。 平滑次数为1,HDFS文件数指标的值小于或等于阈值时,告警恢复;平滑次数大于1,HDFS文件数指标的值小于或等于阈值的90%时,告警恢复。
"下载的认证凭据中“krb5.conf”文件的位置"; /** * Location of keytab file */ private static final String KEY_TAB_DEST = "下载的认证凭据中“user.keytab”文件的位置";
如何查看MRS集群各组件配置文件路径? 常用组件配置文件路径如下所示: 组件 配置文件目录 ClickHouse 客户端安装路径/ClickHouse/clickhouse/config Flink 客户端安装路径/Flink/flink/conf Flume Flume客户端安
"下载的认证凭据中“krb5.conf”文件的位置"; /** * Location of keytab file */ private static final String KEY_TAB_DEST = "下载的认证凭据中“user.keytab”文件的位置";
tar”,继续解压该文件。 进入客户端配置文件解压路径“*\Spark\config”,获取Spark配置文件,并所有的配置文件导入到Spark样例工程的配置文件目录中(通常为“resources”文件夹)。 准备集群认证用户信息时获取的keytab文件也放置于该目录下。 复制
下载认证凭据”下载认证凭据文件,保存后解压得到该用户的“user.keytab”文件与“krb5.conf”文件。 准备运行环境配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。
下载认证凭据”下载认证凭据文件,保存后解压得到该用户的“user.keytab”文件与“krb5.conf”文件。 准备运行环境配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。