检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么存储小文件过程中，缓存中的数据会丢失 问题 在存储小文件过程中，系统断电，缓存中的数据丢失。 回答 由于断电，当写操作完成之后，缓存中的block不会立即被写入磁盘，如果要同步地将缓存的block写入磁盘，用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop/hdfs-site
HDFS写文件失败，报错“item limit of xxx is exceeded” 问题背景与现象 客户端或者上层组件日志报往HDFS的某目录写文件失败，报错为： The directory item limit of /tmp is exceeded: limit=5 items=5。
> 上传驱动”，在弹出的窗口选择本地已准备的数据库驱动文件，单击“打开”，等待驱动上传完成。 在“驱动管理”界面，查看驱动文件名列表是否显示正常。 如果驱动不再使用，或者上传错误，可单击“删除”，删除对应驱动文件。 驱动文件列表较多时，可通过搜索框快速检索。 父主题： 创建CDL作业前准备
</composite> 指定字段数据类型 HBase BulkLoad支持读取原生态数据文件，把数据文件的每个字段映射为HBase定义的字段，并对该字段的数据类型做定义。 您可以在“configuration.xml”文件中定义多个方式来批量导入数据。 列的名称不能包含特殊字符，只能由字母、数字和下划线组成。
HDFS客户端写文件close失败 问题背景与现象 HDFS客户端写文件close失败，客户端提示数据块没有足够副本数。 客户端日志： 2015-05-27 19:00:52.811 [pool-2-thread-3] ERROR: /tsp/nedata/collect/UGW
执行如下命令查看用户自定义配置文件所在父目录的权限。 ll <文件所在路径的父目录路径> 进入NFS盘待访问文件所在目录，修改用户自定义配置文件所在父目录的权限为755。 chmod 755 -R /<文件所在路径的父目录路径> 确认Core或者Task节点是否可以访问到该配置文件。 以root用户登录Core/Task节点。
文件块过大导致HBase数据导入失败 问题现象 导入数据到hbase报错：NotServingRegionException。 原因分析 当一个block size大于2G时，hdfs在seek的时候会出现读取异常，持续频繁写入regionserver时出现了full gc，且时
配置HDFS单目录文件数量 操作场景 通常一个集群上部署了多个服务，且大部分服务的存储都依赖于HDFS文件系统。当集群运行时，不同组件（例如Spark、Yarn）或客户端可能会向同一个HDFS目录不断写入文件。但HDFS系统支持的单目录文件数目是有上限的，因此用户需要提前做好规划
配置HDFS单目录文件数量 操作场景 通常一个集群上部署了多个服务，且大部分服务的存储都依赖于HDFS文件系统。当集群运行时，不同组件（例如Spark、Yarn）或客户端可能会向同一个HDFS目录不断写入文件。但HDFS系统支持的单目录文件数目是有上限的，因此用户需要提前做好规划
配置HDFS文件回收站机制 配置场景 在HDFS中，如果删除HDFS的文件，删除的文件将被移动到回收站（trash）中，不会被立即清除，以便在误操作的情况下恢复被删除的数据。被删除的文件在超过老化时间后将变为老化文件，会基于系统机制清除或用户手动清除。 您可以设置文件保留在回收站
Kafka 样例工程配置文件说明 Conf目录下各配置文件及重要参数配置说明。 Producer API配置项。 表1 producer.properties文件配置项 参数 描述 备注 security.protocol 安全协议类型 生产者使用的安全协议类型，当前Kerber
航栏单击“并行文件系统”，在“并行文件系统”页面单击对应的文件系统名称，在“文件”页面单击文件名称，文件“链接”即path路径，如图1所示。 图1 文件路径 ak：参数可选，具备访问OBS权限的ak。 sk：参数可选，具备访问OBS权限的sk。 format ：文件的格式。 structure：表的结构。
[compression]) path：访问域名/OBS文件路径，登录OBS管理控制台，在左侧导航栏单击“并行文件系统”，在“并行文件系统”页面单击对应的文件系统名称，在“文件”页面单击文件名称，文件“链接”即path路径，如图1所示。 图1 文件路径 ak：参数可选，具备访问OBS权限的ak。
设置为true，Spark将开启定期残余文件清理特性 false spark.clean.residual.tmp.dir.init.delay 文件清理的初始延迟时间，单位min 5 spark.clean.residual.tmp.dir.period.delay 文件清理的间隔时间，单位min
创建HDFS文件并写入内容 功能简介 写文件过程为： 使用FileSystem实例的create方法获取写文件的输出流。 使用该数据流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata
tar”，继续解压该文件。 进入客户端配置文件解压路径“*\Spark\config”，获取Spark配置文件，并所有的配置文件导入到Spark样例工程的配置文件目录中（通常为“resources”文件夹）。 复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中。 在
java_pid*”文件定期清理。因为HDFS的内存监控使用了JVM的jinfo命令，而jinfo依赖“/tmp/.java_pid*”文件，当该文件不存在时，jinfo会执行kill -3将jstack信息打印到.out日志文件里，从而导致.out日志文件过大。 处理步骤 在每个HDFS实例的节点上部署定期清理
配置HDFS文件回收站机制 配置场景 在HDFS中，如果删除HDFS的文件，删除的文件将被移动到回收站（trash）中，不会被立即清除，以便在误操作的情况下恢复被删除的数据。被删除的文件在超过老化时间后将变为老化文件，会基于系统机制清除或用户手动清除。 您可以设置文件保留在回收站
创建HDFS文件并写入内容 功能简介 写文件过程为： 使用FileSystem实例的create方法获取写文件的输出流。 使用该输出流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata
比对主备DBServer节点/srv/BigData/dbdata_service/data目录下的配置文件发现差距比较大。 解决办法 把主节点/srv/BigData/dbdata_service/data的内容拷贝到备节点，保持文件权限和属组与主节点一样。 修改postgresql.conf配置信息，lo
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
