-
文件块过大导致HBase数据导入失败 - MapReduce服务 MRS
文件块过大导致HBase数据导入失败 问题现象 导入数据到hbase报错:NotServingRegionException。
-
HDFS日志文件过大导致OS盘空间不足 - MapReduce服务 MRS
因为HDFS的内存监控使用了JVM的jinfo命令,而jinfo依赖“/tmp/.java_pid*”文件,当该文件不存在时,jinfo会执行kill -3将jstack信息打印到.out日志文件里,从而导致.out日志文件过大。
-
配置ClickHouse对接OBS源文件 - MapReduce服务 MRS
页面单击文件名称,文件“链接”即path路径,如图1所示。
-
配置ClickHouse对接OBS源文件 - MapReduce服务 MRS
页面单击文件名称,文件“链接”即path路径,如图1所示。
-
创建HDFS文件并写入内容 - MapReduce服务 MRS
创建HDFS文件并写入内容 功能简介 写文件过程为: 使用FileSystem实例的create方法获取写文件的输出流。 使用该数据流将内容写入到HDFS的指定文件中。 在写完文件后,需关闭所申请资源。
-
创建HDFS文件并写入内容 - MapReduce服务 MRS
创建HDFS文件并写入内容 功能简介 写文件过程为: 使用FileSystem实例的create方法获取写文件的输出流。 使用该输出流将内容写入到HDFS的指定文件中。 在写完文件后,需关闭所申请资源。
-
创建HDFS文件并写入内容 - MapReduce服务 MRS
创建HDFS文件并写入内容 功能简介 写文件过程为: 使用FileSystem实例的create方法获取写文件的输出流。 使用该数据流将内容写入到HDFS的指定文件中。 在写完文件后,需关闭所申请资源。
-
执行HDFS文件并发操作命令 - MapReduce服务 MRS
执行HDFS文件并发操作命令 操作场景 集群内并发修改文件和目录的权限及访问控制的工具。 对系统的影响 因为集群内使用文件并发修改命令会对集群性能造成较大负担,所以在集群空闲时使用文件并发操作命令。 前提条件 已安装HDFS客户端或者包括HDFS的客户端。
-
DBService配置文件丢失导致启动失败 - MapReduce服务 MRS
比对主备DBServer节点/srv/BigData/dbdata_service/data目录下的配置文件发现差距比较大。 解决办法 把主节点/srv/BigData/dbdata_service/data的内容拷贝到备节点,保持文件权限和属组与主节点一样。
-
使用MRS Hive表对接OBS文件系统 - MapReduce服务 MRS
在OBS控制台并行文件系统列表中,单击文件系统名称进入详情页面。 在左侧导航栏选择“文件”,新建program、input文件夹。 program:请上传程序包到该文件夹。 input:请上传输入数据到该文件夹。
-
创建HDFS文件并写入内容 - MapReduce服务 MRS
创建HDFS文件并写入内容 功能简介 写文件过程为: 使用FileSystem实例的create方法获取写文件的输出流。 使用该输出流将内容写入到HDFS的指定文件中。 在写完文件后,需关闭所申请资源。
-
TimelineServer目录文件数量到达上限 - MapReduce服务 MRS
TimelineServer目录文件数量到达上限 问题现象 MRS 3.x版本集群,ResourceManager日志显示TimelineServer数据目录数量到达上限打印大量错误日志。
-
集群外节点安装客户端上传HDFS文件失败 - MapReduce服务 MRS
集群外节点安装客户端上传HDFS文件失败 用户问题 集群外节点安装客户端使用hdfs命令上传文件失败。
-
使用Spark小文件合并工具说明 - MapReduce服务 MRS
如果发现平均文件大小小于16MB,则认为分区下有小文件,Spark会启动一个Job合并这些小文件,并将合并后的大文件写入到最终的表目录下。
-
准备连接Kafka集群配置文件 - MapReduce服务 MRS
准备连接Kafka集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,用于验证应用程序运行。 场景一:准备本地Windows开发环境调测程序所需配置文件。
-
HDFS读文件失败报错“No common protection layer” - MapReduce服务 MRS
解决办法 重新下载客户端,如果是应用程序,更新应用程序中的配置文件。 父主题: 使用HDFS
-
执行HDFS文件并发操作命令 - MapReduce服务 MRS
执行HDFS文件并发操作命令 操作场景 集群内并发修改文件和目录的权限及访问控制的工具。 本章节适用于MRS 3.x及后续版本。 对系统的影响 因为集群内使用文件并发修改命令会对集群性能造成较大负担,所以在集群空闲时使用文件并发操作命令。
-
如何在导入Hive表时指定输出的文件压缩格式? - MapReduce服务 MRS
如何在导入Hive表时指定输出的文件压缩格式? 问题现象 如何在导入Hive表时指定输出的文件压缩格式?
-
准备连接Kafka集群配置文件 - MapReduce服务 MRS
准备连接Kafka集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,用于验证应用程序运行。 场景一:准备本地Windows开发环境调测程序所需配置文件。
-
使用Hive异常文件定位定界工具 - MapReduce服务 MRS
input-file 输入数据文件。 指定输入的文件或者输入的目录,输入的目录中如果存在当前格式则解析,如果不存在则跳过。可以指定本地文件或者目录,也可以指定HDFS/OBS文件或者目录。 input-directory 输入数据文件所在的目录,子文件多个的情况下使用。