检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MapReduce访问多组件样例代码 功能介绍 主要分为三个部分: 从HDFS原文件中抽取name信息,查询HBase、Hive相关数据,并进行数据拼接,通过类MultiComponentMapper继承Mapper抽象类实现。 获取拼接后的数据取最后一条输出到HBase、HDF
MapReduce访问多组件样例代码 功能介绍 主要分为三个部分: 从HDFS原文件中抽取name信息,查询HBase、Hive相关数据,并进行数据拼接,通过类MultiComponentMapper继承Mapper抽象类实现。 获取拼接后的数据取最后一条输出到HBase、HDF
使用IBM JDK产生异常“Problem performing GSS wrap”如何处理 问题 使用IBM JDK产生异常,提示“Problem performing GSS wrap”信息。 回答 问题原因: 在IBM JDK下建立的Hive connection时间超过登
查询集群详情 功能介绍 查看指定集群的详细信息。该接口不兼容Sahara。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/cluster_infos/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 cluster_id
查询标签配额 功能介绍 查询标签配额信息 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/tags/quota 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释:
HBase日志介绍 日志描述 日志存储路径:HBase相关日志的默认存储路径为“/var/log/Bigdata/hbase/角色名”。 HMaster:“/var/log/Bigdata/hbase/hm”(运行日志),“/var/log/Bigdata/audit/hbase/hm”(审计日志)。
ALM-12012 NTP服务异常 告警解释 系统每60s检查一次节点NTP服务与主OMS节点NTP服务是否正常同步时间,连续两次检测NTP服务未同步上时产生该告警。 若正常同步,当节点NTP服务与主OMS节点NTP服务时间偏差连续两次大于等于20s时产生该告警;当节点NTP服务
ALM-50216 FE节点使用的内存比率超过阈值 告警解释 系统每30秒周期性检查FE节点使用的内存比率,当检查到该值超出阈值(默认值为95%)时产生该告警。 当FE节点使用的内存比率低于阈值时,告警清除。 告警属性 告警ID 告警级别 是否可自动清除 50216 紧急 是 告警参数
JobGateway日志介绍 日志描述 日志路径:JobGateway相关日志的存储路径为:“/var/log/Bigdata/job-gateway/”。 日志归档规则:JobGateway的运行日志启动了自动压缩归档功能,当日志大小超过20MB的时候(此日志文件大小可进行配置
ALM-24006 Flume Server堆内存使用率超过阈值 告警解释 系统每60秒周期性检测Flume服务堆内存使用状态,当连续10次检测到Flume实例堆内存使用率超出阈值(最大内存的95%)时产生该告警,堆内存使用率小于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除
ALM-24008 Flume Server非堆内存使用率超过阈值 告警解释 系统每60秒周期性检测Flume服务非堆内存使用状态,当连续5次检测到Flume实例非堆内存使用率超出阈值(最大内存的80%)时产生该告警,非堆内存使用率小于阈值时,告警恢复。 告警属性 告警ID 告警级别
ALM-45281 UserSync堆内存使用率超过阈值 告警解释 系统每60秒周期性检测UserSync服务堆内存使用状态,当连续10次检测到UserSync实例堆内存使用率超出阈值(最大内存的95%)时产生该告警,堆内存使用率小于阈值时,告警恢复。 告警属性 告警ID 告警级别
ALM-45283 UserSync非堆内存使用率超过阈值 告警解释 系统每60秒周期性检测UserSync服务非堆内存使用状态,当连续5次检测到UserSync实例非堆内存使用率超出阈值(最大内存的80%)时产生该告警,非堆内存使用率小于阈值时,告警恢复。 告警属性 告警ID 告警级别
HBase应用开发简介 HBase简介 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点: 处理海量数据(TB或PB级别以上)。 具有高吞吐量。 在海量数据中实现高效的随机读取。
Spark Streaming调优 操作场景 Streaming作为一种mini-batch方式的流式处理框架,它主要的特点是秒级时延和高吞吐量。因此Streaming调优的目标是在秒级延迟的情景下,提高Streaming的吞吐能力,在单位时间处理尽可能多的数据。 本章节适用于输入数据源为Kafka的使用场景。
配置HDFS文件回收站机制 配置场景 在HDFS中,如果删除HDFS的文件,删除的文件将被移动到回收站(trash)中,不会被立即清除,以便在误操作的情况下恢复被删除的数据。被删除的文件在超过老化时间后将变为老化文件,会基于系统机制清除或用户手动清除。 您可以设置文件保留在回收站
如何配置HBase双读功能 操作场景 HBase客户端应用通过自定义加载主备集群配置项,实现了双读能力。HBase双读作为提高HBase集群系统高可用性的一个关键特性,适用于四个查询场景:使用Get读取数据、使用批量Get读取数据、使用Scan读取数据,以及基于二级索引查询。它能
停止计费 包年/包月资源 对于包年/包月计费模式的资源,例如包年/包月的MRS集群,用户在购买时会一次性付费,服务将在到期后自动停止使用。 如果在计费周期内不再使用包年/包月资源,您可以执行退订操作,系统将根据资源是否属于五天无理由退订等条件返还一定金额到您的账户。详细的退订规则请参见云服务退订规则概览。
ALM-12037 NTP服务器异常 告警解释 系统每60秒周期性检测NTP服务器的状态,当连续10次监控到NTP服务器异常时产生该告警。 当NTP服务器异常消除时,该告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12037 重要 是 告警参数 参数名称 参数含义 来源
MRS集群节点规格说明 MRS节点规格 MRS当前支持主机规格的配型由CPU+内存+Disk共同决定。 弹性云服务器由多个租户共享物理资源,而裸金属服务器的资源归用户独享。对于关键类应用或性能要求较高的业务(如大数据集群、企业中间件系统),并且要求安全可靠的运行环境,使用裸金属服务器更合适。