-
使用LZC压缩算法存储HDFS文件 - MapReduce服务 MRS
使用LZC压缩算法存储HDFS文件 配置场景 文件压缩带来了两个主要好处:减少了储存文件的空间,并且提高数据从磁盘读取和网络传输的速度。HDFS有gzip和Snappy这两种默认压缩格式。
-
为什么存储小文件过程中缓存中的数据会丢失 - MapReduce服务 MRS
为什么存储小文件过程中缓存中的数据会丢失 问题 在存储小文件过程中,系统断电,缓存中的数据丢失。
-
为什么存储小文件过程中,缓存中的数据会丢失 - MapReduce服务 MRS
为什么存储小文件过程中,缓存中的数据会丢失 问题 在存储小文件过程中,系统断电,缓存中的数据丢失。
-
准备连接Kafka集群配置文件 - MapReduce服务 MRS
准备连接Kafka集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,用于验证应用程序运行。 场景一:准备本地Windows开发环境调测程序所需配置文件。
-
使用Hive异常文件定位定界工具 - MapReduce服务 MRS
input-file 输入数据文件。 指定输入的文件或者输入的目录,输入的目录中如果存在当前格式则解析,如果不存在则跳过。可以指定本地文件或者目录,也可以指定HDFS/OBS文件或者目录。 input-directory 输入数据文件所在的目录,子文件多个的情况下使用。
-
TEXTFILE类型文件使用ARC4压缩时查询结果乱码 - MapReduce服务 MRS
TEXTFILE类型文件使用ARC4压缩时查询结果乱码 问题现象 Hive查询结果表做压缩存储(ARC4),对结果表做select * 查询时返回结果为乱码。 可能原因 Hive默认压缩格式不是ARC4格式或者未开启输出压缩。
-
HBase文件丢失导致Region状态长时间为RIT - MapReduce服务 MRS
找不到引用文件。
-
配置ClickHouse对接HDFS源文件 - MapReduce服务 MRS
访问的HDFS文件路径: 如果是访问的多个文件,需要指定到文件夹后边加上*号,如:hdfs://{namenode_ip}:{dfs.namenode.rpc.port}/tmp/* 父主题: ClickHouse数据导入
-
HDFS文件读写时报错“Failed to place enough replicas” - MapReduce服务 MRS
HDFS文件读写时报错“Failed to place enough replicas” 问题背景与现象 当用户在HDFS上执行写操作时,出现“Failed to place enough replicas:expected…”信息。
-
使用LZC压缩算法存储HDFS文件 - MapReduce服务 MRS
使用LZC压缩算法存储HDFS文件 配置场景 文件压缩带来了两个主要好处:减少了储存文件的空间,并且提高数据从磁盘读取和网络传输的速度。HDFS有gzip和Snappy这两种默认压缩格式。
-
配置日志级别与文件大小 - MapReduce服务 MRS
为确保日志文件的完整性,建议根据实际业务量大小,在日志文件基于规则清理前,手动将日志文件备份存储至其他文件夹中。 个别服务不支持通过界面修改日志级别。 单击“保存”,在“保存配置”单击“确定”。 验证日志级别设置已生效,请下载日志并查看。 父主题: 日志管理
-
准备Spark连接集群配置文件 - MapReduce服务 MRS
进入客户端配置文件解压路径“*\Spark\config”,获取Spark配置文件,并所有的配置文件导入到Spark样例工程的配置文件目录中(通常为“resources”文件夹)。 复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中。
-
使用Spark小文件合并工具说明 - MapReduce服务 MRS
因此,小文件问题是制约Hadoop集群规模扩展的关键问题。 本工具主要有如下两个功能: 扫描表中有多少低于用户设定阈值的小文件,返回该表目录中所有数据文件的平均大小。 对表文件提供合并功能,用户可设置合并后的平均文件大小。
-
ALM-12041 关键文件权限异常 - MapReduce服务 MRS
路径名 异常的文件路径或者名称。 对系统的影响 导致系统功能不可用。 可能原因 用户手动修改了文件权限、用户和用户组等信息或者系统异常下电等原因导致文件权限异常或文件丢失。 处理步骤 检查异常文件是否存在及异常文件的权限是否正确。
-
输入文件数超出设置限制导致任务执行失败 - MapReduce服务 MRS
在提交的MapReduce任务中,允许的最大输入文件数和HiveServer最大堆内存的比值,例如500000/4(默认值),表示每4GB堆内存最大允许500000个输入文件。
-
ALM-12042 关键文件配置异常 - MapReduce服务 MRS
路径名 异常的文件路径或者名称。 对系统的影响 导致文件所属服务功能不正常。 可能原因 用户手动修改了文件配置或者系统异常下电等原因。 处理步骤 检查异常文件配置。 在FusionInsight Manager界面,选择“运维 > 告警 > 告警”。
-
ALM-14006 HDFS文件数超过阈值 - MapReduce服务 MRS
ALM-14006 HDFS文件数超过阈值 告警解释 系统每30秒周期性检测HDFS文件数,并把实际文件数和阈值相比较。当检测到HDFS文件数指标超出阈值范围时产生该告警。
-
准备Spark连接集群配置文件 - MapReduce服务 MRS
进入客户端配置文件解压路径“*\Spark\config”,获取Spark配置文件,并所有的配置文件导入到Spark样例工程的配置文件目录中(通常为“resources”文件夹)。 准备集群认证用户信息时获取的keytab文件也放置于该目录下。
-
ALM-45653 Flink HA证书文件失效 - MapReduce服务 MRS
ALM-45653 Flink HA证书文件失效 本章节适用于MRS 3.3.0及以后版本。 告警解释 Flink首次或者每天01:00:00开始健康检查时,检查当前系统中的HA证书文件是否失效(证书是否存在,证书格式是否正确),如果证书文件失效,产生该告警。
-
ALM-12055 证书文件即将过期 - MapReduce服务 MRS
导入新的CA证书文件。 请参考更换MRS集群CA证书章节,申请或生成新的CA证书文件并导入。手动清除该告警信息,查看系统在定时检查时是否会再次产生此告警。 是,执行7。 否,处理完毕。 导入新的HA证书文件。 请参考更换MRS集群HA证书章节,申请或生成新的HA证书文件并导入。