检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。
配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。
运行Spark任务发现大量shuffle结果丢失 问题现象 Spark任务运行失败，查看任务日志发现大量打印shuffle文件丢失。 原因分析 Spark运行的时候会将临时产生的shuffle文件放在executor的临时目录中，方便后面获取。
设置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 在“${HADOOP_HOME}/etc/hadoop/”下的“Hdfs-site.xml”中设置如下参数。
DBService备份任务执行失败 问题背景与现象 查看备份文件路径中没有DBService的备份文件。
配置ClickHouse连接属性 在ClickhouseJDBCHaDemo、Demo、NativeJDBCHaDemo和Util文件创建connection的样例中设置连接属性，如下样例代码设置socket超时时间为60s。
前提条件 已获取样例工程运行所需的配置文件及认证文件，详细操作请参见准备HBase应用开发和运行环境。
显示“浏览文件夹”对话框。 选择文件夹“hive-examples”，如图1所示。Windows下要求该文件夹的完整路径不包含空格。 图1 导入样例工程到Eclipse中 单击“Finish”。
配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。
和Parquet文件格式类似，它并不是一个单纯的列式存储格式，仍然是首先根据行组分割整个表，在每一个行组内按列进行存储，并且文件中的数据尽可能的压缩来降低存储空间的消耗。矢量化读取ORC格式的数据能够大幅提升ORC数据读取性能。
和Parquet文件格式类似，它并不是一个单纯的列式存储格式，仍然是首先根据行组分割整个表，在每一个行组内按列进行存储，并且文件中的数据尽可能的压缩来降低存储空间的消耗。矢量化读取ORC格式的数据能够大幅提升ORC数据读取性能。
Loader数据导入导出概述 Loader数据导入简介 Loader是实现MRS与外部数据源如关系型数据库、SFTP服务器、FTP服务器之间交换数据和文件的ETL工具，支持将数据或文件从关系型数据库或文件系统导入到MRS系统中。
ALM-12063 磁盘不可用 告警解释 系统每一个小时，整点检查一次当前主机的磁盘是否可用，只检查数据盘，在磁盘对应的挂载目录下执行创建文件，写文件和删文件等操作，如果能够成功则认为磁盘可用，发送恢复告警，如果不能成功，则发送故障告警。
执行如下命令，检查发出告警的目录下的文件或目录是否是可以删除的无用文件。 hdfs dfs -ls 产生告警的目录路径 是，执行3。 否，执行5。 执行如下命令。删除无用的文件。
对系统的影响 单副本的数据在节点故障时容易丢失，单副本的文件过多会对HDFS文件系统的安全性造成影响。 可能原因 DataNode节点故障。 磁盘故障。 单副本写入文件。
sparksql仅为示例，文件系统名称必须全局唯一，否则会创建并行文件系统失败。 单击sparksql文件系统名称，并选择“文件”。 单击“新建文件夹”，创建input文件夹。 进入input文件夹，单击“上传文件 > 添加文件”，选择本地的txt文件，然后单击“上传”。
原因分析 DBService组件会对“${BIGDATA_HOME}/MRS_XXX/install/dbservice/ha/module/harm/plugin/script/gsDB/.startGS.fail”这个文件监控。其中XXX是产品版本号。
命令格式： LOAD DATA INPATH 'path to data' INTO TABLE table_name OPTIONS ('...'); 每当Spark配置有viewFS文件系统时，当尝试从HDFS加载数据时，用户必须在LOAD语句中指定如“viewfs://”这样的路径或相对路径作为文件路径
kinit HDFS组件操作用户 在Yarn命令行显式添加要访问的OBS文件系统。 使用以下命令访问OBS文件系统。
配置ClickHouse连接属性 在ClickhouseJDBCHaDemo、Demo、NativeJDBCHaDemo和Util文件创建connection的样例中设置连接属性，如下样例代码设置socket超时时间为60s。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
