检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 当前BE实例不可用,无法对外提供读写数据功能。 可能原因
对于SSD盘,满足以下任意条件时触发告警: 系统在30秒内,每3秒采集一次数据,连续10周期,svctm时延超过2秒。 系统在30秒内,每3秒采集一次数据,连续10周期,磁盘队列深度(avgqu-sz)> 0,iops = 0或带宽 = 0,且ioutil > 99%。 当系统连续90s内不满足以上所有条件时,告警自动清除。
这个表达式用于列出指定schema下的所有表。如果没有指定schema,则默认使用当前所在的schema。 可选参数like被用于基于关键字来进行匹配。 示例 --创建测试表 Create table show_table1(a int); Create table show_table2(a int); Create
高Streaming的吞吐能力,在单位时间处理尽可能多的数据。 本章节适用于输入数据源为Kafka的使用场景。 操作步骤 一个简单的流处理系统由以下三部分组件组成:数据源 + 接收器 + 处理器。数据源为Kafka,接收器为Streaming中的Kafka数据源接收器,处理器为Streaming。
Hadoop shell命令 Hadoop基本shell命令,包括提交MapReduce作业,kill MapReduce作业,进行HDFS文件系统各项操作等。 MapReduce输入输出(InputFormat,OutputFormat) MapReduce框架根据用户指定的Inpu
式数据集,这个数据集的全部或部分可以缓存在内存中,在多次计算间重用。 RDD的生成: 从HDFS输入创建,或从与Hadoop兼容的其他存储系统中输入创建。 从父RDD转换得到新RDD。 从数据集合转换而来,通过编码实现。 RDD的存储: 用户可以选择不同的存储级别缓存RDD以便重用(RDD有11种存储级别)。
大数据调整等)后系统数据出现异常或未达到预期结果,模块全部故障完全无法使用,或者迁移数据到新集群的场景中,需要对元数据进行恢复操作。 该任务指导用户通过MRS Manager创建恢复元数据任务。只支持创建任务手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。
LOG.error("Security prepare failure.", e); return; } LOG.info("Security prepare success."); }
“数据导出”章节适用于MRS 3.x及后续版本。 简介 Loader是实现MRS与关系型数据库、文件系统之间交换数据和文件的ETL工具,支持将数据或者文件从MRS系统中导出到关系型数据库或文件系统中。 Loader支持如下数据导出方式: 从HDFS/OBS中导出数据到SFTP服务器 从HDFS/OBS中导出数据到关系型数据库
ALM-29015 Catalog进程内存占用率超过阈值 告警解释 以30s为周期检测Catalog进程系统内存占用率,当检测到的超过默认阈值(80%)时,系统产生此告警。 当系统检测到进程内存占用率下降到阈值以下时,告警将自动解除。 告警属性 告警ID 告警级别 是否自动清除 29015
ALM-12042 关键文件配置异常(2.x及以前版本) 告警解释 系统每隔一个小时检查一次系统中关键的配置是否正确,如果不正常,则上报故障告警。 当检查到配置正确时,则告警恢复。 告警属性 告警ID 告警级别 可自动清除 12042 严重 是 告警参数 参数名称 参数含义 ServiceName
操作场景 为了确保HDFS日常用户的业务数据安全,或者系统管理员需要对HDFS进行重大操作(如升级或迁移等),需要对HDFS数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manag
MRS集群处理的数据源通常来源于OBS文件系统或集群内的HDFS文件系统,OBS为客户提供海量、安全、高可靠、低成本的数据存储能力。 用户可以基于MRS管理控制台和OBS客户端对OBS数据进行浏览、管理和使用,也可以将OBS的数据导入集群的HDFS系统后进行处理,上传文件速率会随着文件大
在“连接”区域,单击“添加”新建一个的连接,在“连接器”中选择“hdfs-connector”,输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。 设置数据源信息 单击“下一步”,进入“输入设置”界面,在“源文件类型”中选择“HBASE”,设置数据源信息。
在“连接”区域,单击“添加”新建一个的连接,在“连接器”中选择“hdfs-connector”,输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。 设置数据源信息 单击“下一步”,进入“输入设置”界面,在“源文件类型”中选择“HBASE”,设置数据源信息。
rch实时搜索和分析功能结合在一起。 它能够让您快速深入了解大数据,并让您在Hadoop生态系统中更好地开展工作。 方案架构 Hive是建立在Hadoop上的数据仓库框架,提供大数据平台批处理计算能力,能够对结构化/半结构化数据进行批量分析汇总完成数据计算。提供类似SQL的Hive
高Streaming的吞吐能力,在单位时间处理尽可能多的数据。 本章节适用于输入数据源为Kafka的使用场景。 操作步骤 一个简单的流处理系统由以下三部分组件组成:数据源 + 接收器 + 处理器。数据源为Kafka,接收器为Streaming中的Kafka数据源接收器,处理器为Streaming。
MRS对集群管理系统Manager上的数据提供自动备份功能,根据制定的备份策略可自动备份集群上的数据,包括LdapServer、DBService的数据。 手动备份 在系统进行扩容、打补丁等重大操作前,需要通过手动备份集群管理系统的数据,以便在系统故障时,恢复集群管理系统功能。 为进
Flume日志采集概述 Flume是一个分布式、可靠和高可用的海量日志聚合的系统。它能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。支持在系统中定制各类数据发送方,用于收集数据。同时,提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
system数据库是ClickHouse默认的系统数据库,默认数据库中的系统表记录的是系统的配置、元数据等的信息数据。 业务在使用ClickHouse的时候,需要指定自己业务的数据库进行连接和使用,业务相关的表创建在自己业务库中,不要将业务的表创建在系统数据库中,避免对系统数据库造成不必要的影响。 命名规范设计规则