检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群处理的数据源通常来源于OBS文件系统或集群内的HDFS文件系统，OBS为客户提供海量、安全、高可靠、低成本的数据存储能力。 用户可以基于MRS管理控制台和OBS客户端对OBS数据进行浏览、管理和使用，也可以将OBS的数据导入集群的HDFS系统后进行处理，上传文件速率会随着文件大
“数据导出”章节适用于MRS 3.x及后续版本。 简介 Loader是实现MRS与关系型数据库、文件系统之间交换数据和文件的ETL工具，支持将数据或者文件从MRS系统中导出到关系型数据库或文件系统中。 Loader支持如下数据导出方式： 从HDFS/OBS中导出数据到SFTP服务器 从HDFS/OBS中导出数据到关系型数据库
rOS的操作系统版本。 查看说明：镜像中显示的EulerOS_2.10_x86_64，则代表操作系统为Linux系统版本（X86架构）、版本为EulerOS 2.10 64bit。 图2 操作系统版本 确认MRS节点的操作系统版本是否在HSS服务的Agent支持的操作系统范围中。
metastore.kerberos.principal Hive组件中MetaStore服务的Principal，如“hive/hadoop.<系统域名>@<系统域名>”。 hive-metastore/_HOST@EXAMPLE.COM hive.metastore.thrift.sasl.qop
操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对Doris进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对Doris进行恢复数据操作。 系统管理员可以通过FusionInsight Ma
定位信息 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 Detail 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 当查询并发数过大时，会消耗大量的系统资源，导致系统响应时间变慢，甚至拒绝后续查询。
手动将CSV离线数据导入至IoTDB 应用场景 IoTDB（物联网数据库）是一体化收集、存储、管理与分析物联网时序数据的软件系统，采用轻量式架构，具有高性能和丰富的功能。 IoTDB支持以下方式批量导入或导出数据： 批量导入数据：通过import-csv.sh离线方式进行数据的导入。
为什么存储小文件过程中，缓存中的数据会丢失 问题 在存储小文件过程中，系统断电，缓存中的数据丢失。 回答 由于断电，当写操作完成之后，缓存中的block不会立即被写入磁盘，如果要同步地将缓存的block写入磁盘，用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop/hdfs-site
为什么存储小文件过程中，缓存中的数据会丢失 问题 在存储小文件过程中，系统断电，缓存中的数据丢失。 回答 由于断电，当写操作完成之后，缓存中的block不会立即被写入磁盘，如果要同步地将缓存的block写入磁盘，用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop/hdfs-site
防止因HBase的系统表目录或者文件损坏导致HBase服务不可用，或者系统管理员需要对HBase系统表进行重大操作（如升级或迁移等）时，需要对HBase元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight
ZooKeeper连接断开 告警解释 系统每分钟检测一次ClickHouse和ZooKeeper的连接情况，如果检测连接失败，系统产生告警（告警原因为ZooKeeper连接异常）。如果连续3次检测连接失败，系统产生告警（告警原因为ZooKeeper连接断开）。 当系统检测到有一次连接成功，告警自动清除。
防止因HBase的系统表目录或者文件损坏导致HBase服务不可用，或者系统管理员需要对HBase系统表进行重大操作（如升级或迁移等）时，需要对HBase元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight
对于SSD盘，满足以下任意条件时触发告警： 系统在30秒内，每3秒采集一次数据，连续10周期，svctm时延超过2秒。 系统在30秒内，每3秒采集一次数据，连续10周期，磁盘队列深度（avgqu-sz）> 0，iops = 0或带宽 = 0，且ioutil > 99%。 当系统连续90s内不满足以上所有条件时，告警自动清除。
在Yarn命令行显式添加要访问的OBS文件系统。 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 使用以下命令创建OBS文件系统下的目录： hdfs dfs -mkdir obs://OBS并行文件系统名称/hadoop1 执行以下Yarn任务访问OBS：
恢复Manager数据（MRS 3.x及之后版本） 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对FusionInsight Manager系统进行重大数据调整等操作后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，需要对Manager进行恢复数据操作。 管理员可以通过FusionInsight
告警解释 系统每隔5分钟检查一次系统中关键目录或者文件权限、用户、用户组是否正常，如果不正常，则上报故障告警。 当检查到权限等均正常，则告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12041 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名
系统崩溃：如果丢失的是系统盘可能导致客户此节点系统运行异常，严重时导致系统崩溃无法正常开机运行。 业务失败：如果丢失的设备分区上会进行组件的业务读写操作，可能会导致业务运行异常，如作业运行失败，作业运行缓慢等。 业务延迟：设备分区丢失，客户可能需要花费时间来恢复数据和系统，这可能会导致业务延迟。
在HDFS命令行显式添加要访问的OBS文件系统。 例如： 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 使用以下命令创建OBS文件系统下的目录： hdfs dfs -mkdir obs://OBS并行文件系统名称/hadoop 使用以下命令上传客户端节点“/opt/test
使用External Shuffle Service提升性能 操作场景 Spark系统在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle数据，给其他Executor提供shuffle数据。当Executor进程任务过重，导致GC而不
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务性能下降或者个别业务出现超时问题。 风险提示:在SuSE内核版本3.0以上或Red Hat 7.2版本，由于系统内核修改了网络读包丢包数的计数机制，在该系统下，即使网络正常运行，也可能会导
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
