检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么存储小文件过程中,缓存中的数据会丢失 问题 在存储小文件过程中,系统断电,缓存中的数据丢失。 回答 由于断电,当写操作完成之后,缓存中的block不会立即被写入磁盘,如果要同步地将缓存的block写入磁盘,用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop/hdfs-site
ode节点上读取数据。 数据保密性 MRS分布式文件系统在Apache Hadoop版本基础上提供对文件内容的加密存储功能,避免敏感数据明文存储,提升数据安全性。 业务应用只需对指定的敏感数据进行加密,加解密过程业务完全不感知。在文件系统数据加密基础上,Hive服务支持列加密(参
HBase表以“命名空间:表名”格式进行存储,若在创建表时不指定命名空间,则默认存储在“default”中。其中,“hbase”命名空间为系统表命名空间,请不要对该系统表命名空间进行业务建表或数据读写等操作。 功能分解 根据上述的业务场景进行功能分解,需要开发的功能点如表2所示。 表2 在HBase中开发的功能
告警模块按60秒周期检测ClickHouse服务在ZooKeeper的容量配额使用百分比,当检测到使用百分比超过阈值(90%),系统产生此告警。 当系统检测到使用百分比低于阈值,且告警处理完成时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45427 重要(默认级别)
Yarn任务挂起数超过阈值(2.x及以前版本) 告警解释 系统每30秒周期性检查YARN服务处于挂起状态(Pending)的任务数量,并把挂起状态的任务数量和阈值进行比较。当检测到挂起状态的任务数超过阈值时产生该告警。 用户可通过在MRS Manager中的“系统设置 > 阈值配置 > 服务 > Yarn
执行任务时AppAttempts重试次数超过2次还没有运行失败 问题 系统默认的AppAttempts运行失败的次数为2,为什么在执行任务时,AppAttempts重试次数超过2次还没有运行失败? 回答 在执行任务过程中,如果ContainerExitStatus的返回值为ABO
利用Hadoop HDFS作为其文件存储系统。HBase位于结构化存储层,Hadoop HDFS为HBase提供了高可靠性的底层存储支持。除了HBase产生的一些日志文件,HBase中的所有数据文件都可以存储在Hadoop HDFS文件系统上。 HBase和ZooKeeper的关系
Worker进程垃圾收集时间超出阈值(2.x及以前版本) 告警解释 系统每30s周期性采集Presto Worker进程的垃圾收集(GC)时间,当检测到GC时间超出阈值(连续3次检测超过5s)时产生该告警。用户可在MRS Manager中通过“系统设置 > 阈值配置 > 服务 > Presto >
本章节仅适用于MRS 3.1.5及之后版本。 告警解释 告警模块按60秒周期检测Guardian服务状态,当检测到Guardian服务异常时,系统产生此告警。 当系统检测到Guardian服务恢复正常,且告警处理完成时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45736 紧急 是
ALM-14000 HDFS服务不可用 告警解释 系统每60秒周期性检测NameService的服务状态,当检测到所有的NameService服务都异常时,就会认为HDFS服务不可用,此时产生该告警。 至少一个NameService服务正常后,系统认为HDFS服务恢复,告警清除。 告警属性
IoTDB中数据以region分配在IoTDBServer上,region副本数默认是“3”,最终在IoTDBServer文件系统上表现为3个文件。上限为操作系统可存储文件个数最大值,对于Linux系统即是inode个数。 父主题: IoTDB运维管理
ALM-45275 Ranger服务不可用 告警解释 告警模块按180秒周期检测Ranger服务状态,当检测到Ranger服务异常时,系统产生此告警。 当系统检测到Ranger服务恢复正常,且告警处理完成时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45275 紧急 是 告警参数
成 本章节仅适用于MRS 3.3.1及之后版本。 告警解释 系统每隔5分钟检测一次mutation任务,当检测到有正在执行的mutation任务且运行时间大于等于阈值slow_mutation_cost_time时,系统产生告警;当没有检测到正在运行的mutation任务或mut
RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Yarn ResourceManager堆内存使用率过高,会影响Yarn任务提交和运行的性能,甚至造成内存溢出导致Yarn服务不可用。
组件业务用户 在hdfs命令行显式添加要访问的OBS文件系统。 例如: 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 例如,执行以下命令访问“mrs-word001”并行文件系统,返回文件列表即表示访问OBS成功,如图1所示: hadoop
DBeaver对接MRS Hive 集群外Druid对接MRS Kerberos集群 分布式调度平台Airflow在华为云MRS中的实践 基于云服务MRS构建DolphinScheduler2调度系统
提供告警查询、告警处理指导功能。帮助您及时发现产品故障及潜在隐患,并进行定位排除,以保证系统正常运行。 审计 提供审计日志查询及导出功能。帮助您查阅所有用户活动及操作。 租户资源 提供统一租户管理平台。 系统 提供对FusionInsight Manager的系统管理设置,例如用户权限设置。 图2 MRS 2.x版本Manager界面
ALM-45439 ClickHouse节点进入只读模式 告警解释 系统每隔1分钟检测ClickHouseServer节点磁盘容量,当检测到磁盘容量超过90%,ClickHouseServer节点进入只读模式时,系统产生此告警。 当检测到磁盘容量低于90%,ClickHouseSe
ALM-45438 ClickHouse磁盘使用率超过80% 告警解释 系统每隔1分钟检测ClickHouseServer节点磁盘容量,当检测到ClickHouse数据目录或元数据目录所在磁盘的使用率超过80%时,系统产生此告警。 当检测到ClickHouse数据目录或元数据目录所在磁盘的使用率低于80%时,告警自动清除。
TokenServer RPC处理平均时间超过阈值 告警解释 系统每30秒周期性检测TokenServer服务RPC处理平均时间,当连续5次检测到TokenServer实例RPC处理平均时间超出阈值时产生该告警。 当系统检测到TokenServer实例RPC处理平均时间小于阈值时,告警恢复。