检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-24010 Flume证书文件非法或已损坏 本章节适用于MRS 3.2.0及以后版本。 告警解释 Flume每隔一个小时,检查当前Flume证书文件是否合法(证书是否存在,证书格式是否正确),如果证书文件非法或已损坏,产生该告警。证书文件恢复合法时,告警恢复。 告警属性 告警ID
) + 1000(用户历史消费金额)。 上例所示,运行结果table2表用户key=1的总消费金额为cf:cid=1100元。 数据规划 使用HBase shell工具,创建HBase table1和table2,并分别插入数据。 通过HBase创建名为table1的表,命令如下。
组件业务用户 代码认证: 通过获取客户端的principal和keytab文件在应用程序中进行认证。 MapReduce的安全认证代码 目前使用统一调用LoginUtil类进行安全认证。 在MapReduce样例工程的“com.huawei.bigdata.mapreduce.ex
GC时间超出阈值,会影响JobHistory进程运行的性能,甚至造成JobHistory进程不可用。 可能原因 该节点JobHistory进程堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。 登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为
是,执行3。 否,执行1.c。 重启DataNode实例,查看能否成功启动。 是,执行2.b。 否,执行2.a。 删除被破坏的文件。 在集群节点使用客户端。执行hdfs fsck / -delete,删除丢失文件。然后再次写入文件,恢复数据。 等待5分钟后,单击“告警管理”,查看该告警是否恢复。
确保集群安装完成,包括HDFS、Yarn、Spark2x和Kafka。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息,格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper {zkQuorum}/kafka
客户端直接面向用户,可通过Java API、Shell API、 REST API或者Web UI访问Oozie服务端。 Oozie WebUI界面 通过“https://Oozie服务器IP地址:21003/oozie”登录Oozie WebUI界面。 父主题: Oozie应用开发概述
********************************************"); // 读取文本路径信息,并使用逗号分隔 final String[] filePaths = ParameterTool.fromArgs(args).get("filePath"
解决Hive向量化if语句中由于数据被覆盖导致数据错误和NPE问题 解决开启向量化时,str_to_map函数执行长时间异常问题 解决Hive开启向量化参数后使用split函数执行MR任务效率很低问题 解决Hive开启向量化后查询包含nvl函数和decimal(10,5)字段类型的表报错问题 解决Tez分区空目录报错,报目录不存在问题
MonitorServer证书文件非法或已损坏 本章节适用于MRS 3.2.0及以后版本。 告警解释 MonitorServer每隔一个小时,检查当前MonitorServer证书文件是否合法(证书是否存在,证书格式是否正确),如果证书文件非法或已损坏,产生该告警。证书文件恢复合法,告警恢复。
标签的key值可以包含任意语种字母、数字、空格和_.:=+-@,但首尾不能含有空格,不能以_sys_开头。 默认取值: 不涉及 value 是 String 参数解释: 标签的值。 约束限制: 不涉及 取值范围: 最大长度255个字符,可以为空字符串。 标签的value值可以包含任意语种字母、数字、空格和_
确保集群安装完成,包括HDFS、Yarn、Spark2x和Kafka。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息,格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper {zkQuorum}/kafka
Manager页面,选择“运维 > 告警 > 告警”,查看该告警的详细信息,在定位信息中查看发生该告警的主机名称。单击主机名称,查看对应的IP地址。 使用root用户登录告警上报主机IP节点。 执行以下命令查看服务核心文件是否存在。 stat /usr/local/diskmgt/inner/diskmgtd
计算资源(Yarn)不健康,存储资源(HDFS)健康,任务无法提交到本AZ,但是数据可以继续往本AZ内读写。 计算资源(Yarn)健康,存储资源(HDFS)部分不健康,任务可以提交到本AZ,部分数据可以在本AZ内读写,依赖于Spark/Hive调度感知数据的本地性。 AZ不健康有三种:
组件业务用户 代码认证: 通过获取客户端的principal和keytab文件在应用程序中进行认证。 MapReduce的安全认证代码 目前使用统一调用LoginUtil类进行安全认证。 在MapReduce样例工程的“com.huawei.bigdata.mapreduce.ex
Coordinator进程GC时间过长,会影响Coordinator进程运行的性能,甚至造成Coordinator进程不可用。 可能原因 该节点Coordinator进程堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。 登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为
对系统的影响 Worker进程GC时间过长,会影响Worker进程运行的性能,甚至造成Worker进程不可用。 可能原因 该节点Worker进程堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。 登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为
检查knox进程是否异常。 登录FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机名称。 使用PuTTY工具,以root用户登录该告警的主机地址。 执行命令su - omm,切换至omm用户。 执行sh ${BIGDATA_HOME
客户端直接面向用户,可通过Java API、Shell API、 REST API或者Web UI访问Oozie服务端。 Oozie WebUI界面 通过“https://Oozie服务器IP地址:21003/oozie”登录Oozie WebUI界面。 父主题: Oozie应用开发概述
// 对于需要访问ZooKeeper的组件,需要提供jaas和krb5配置 // 在Map中不需要重复login,会使用main方法中配置的鉴权信息 String krb5 = "krb5.conf"; String jaas = "jaas_mr