检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei
追加信息到HDFS指定文件 功能简介 追加文件内容，是指在HDFS的某个指定文件后面，追加指定的内容。过程为： 使用FileSystem实例的append方法获取追加写入的输出流。 使用该输出流将待追加内容添加到HDFS的指定文件后面。 在完成后，需关闭所申请资源。 代码样例 如下是代码片段，详细代码请参考com
配置HDFS快速关闭文件功能 操作场景 默认情况下关闭HDFS文件时需要等待所有的Block都上报成功（处于COMPLETED状态）。因此HDFS的一部分写性能消耗为等待DataNode块上报以及NameNode处理块上报。对于一个负载较大的集群，等待的消耗对集群影响较大。HDF
监控管理 CCI配合AOM对Pod资源进行基础监控，资源基础监控包含CPU/内存/磁盘等。您可以在CCI控制台查看Pod的监控指标数据，也可以在AOM中查看。 监控指标 在AOM控制台，可以查看容器实例的指标，指标内容请参见表1。 表1 监控指标 指标ID 指标名称 指标含义 取值范围
HDFS样例程序开发思路 场景说明 HDFS的业务操作对象是文件，代码样例中所涉及的文件操作主要包括创建文件夹、写文件、追加文件内容、读文件和删除文件/文件夹；HDFS还有其他的业务处理，例如设置文件权限等，其他操作可以在掌握本代码样例之后，再扩展学习。 本代码样例讲解顺序为： HDFS初始化
往HDFS写数据时报错“java.net.SocketException” 问题 为什么在往HDFS写数据时报“java.net.SocketException: No buffer space available”异常？ 这个问题发生在往HDFS写文件时。查看客户端和DataNode的错误日志。
配置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。 搜索并查看“dfs.storage.policy.ena
本代码样例讲解顺序为： HDFS初始化 初始化HDFS 写文件 写HDFS文件 追加文件内容 追加HDFS文件内容 读文件 读HDFS文件 删除文件 删除HDFS文件 Colocation HDFS Colocation 设置存储策略 设置HDFS存储策略 访问OBS HDFS访问OBS 开发思路
怎样查看云专线的监控指标？ 登录管理控制台。 在管理控制台左上角单击，选择区域和项目。 在系统首页，选择“管理与监管 > 云监控服务”。 图1 云监控 单击页面左侧的“云服务监控”，选择“云专线”。 单击“操作”列的“查看监控指标”，查看云专线状态。 支持查看“近1小时”、“近3
初始化HDFS 功能简介 在使用HDFS提供的API之前，需要先进行HDFS初始化操作。过程为： 加载HDFS服务配置文件，并进行kerberos安全认证。 认证通过后，实例化Filesystem。 使用HDFS的API。 此处kerberos安全认证需要使用到的keytab文件，请提前准备。
创建HDFS多线程任务 功能简介 建立多线程任务，同时启动多个实例执行文件操作。 代码样例 如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 // 业务示例2：多线程 final int THREAD_COUNT
HDFS应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 HDFS应用程序开发流程 表1 HDFS应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解HDFS的基本概念。 HDFS应用开发常用概念 准备开发环境 使用Eclipse工具，请根据指导完成开发环境配置。
HDFS Java API接口介绍 HDFS完整和详细的接口可以直接参考官方网站上的描述： http://hadoop.apache.org/docs/r3.1.1/api/index.html HDFS常用接口 HDFS常用的Java类有以下几个： FileSystem：是客户端应用的核心类。常用接口参见表1。
Connect的运行情况。 开通云监控服务 云监控服务默认开通使用。 如果需要查看ROMA Connect相关的监控指标，请参见查看云服务监控看板。 如果需要在监控数据满足指定条件时发送报警通知，可参见创建告警规则和通知。 FDI支持的监控指标 表1 FDI支持的监控指标 指标ID 指标名称
查询或者删除HDFS文件失败 问题背景与现象 使用HDFS的shell客户端查询或者删除文件失败，父目录可以看见此文件（不可见字符）。 图1 父目录文件列表 原因分析 可能是该文件写入时有异常，写入了不可见字符。可以将该文件名重定向写入本地文本中，使用vi命令打开。 hdfs dfs
删除HDFS指定文件 功能简介 删除HDFS上某个指定文件。 被删除的文件会被直接删除，且无法恢复。所以，执行删除操作需谨慎。 代码样例 如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /**
执行下列命令，查看当前是否存在名为“huawei”的目录。 hdfs dfs -ls / 执行结果如下： linux1:/opt/client # hdfs dfs -ls / 16/04/22 16:10:02 INFO hdfs.PeerCache: SocketCache disabled
基于标签的数据块摆放策略样例 HDFS开源增强特性：HDFS Load Balance HDFS的现有读写策略主要以数据本地性优先为主，并未考虑节点或磁盘的实际负载情况。HDFS Load Balance功能是基于不同节点的I/O负载情况，在HDFS客户端进行读写操作时，尽可能地
HANA用户指南》。 解决方法 在以上两种情况下，会出现基础监控CPU使用率接近100%，与操作系统监控CPU使用率相差较大的情况，如果您需要查看更准确的监控指标，建议安装Agent查看操作系统监控指标。 父主题： 主机监控
压。 fromJobConfig.splitType 否 枚举 指定任务分片方式，选择按文件或文件大小进行分割。HDFS上的文件，如果在HDFS上已经分片，则HDFS每个分片视为一个文件。 FILE：按文件数量进行分片。例如有10个文件，并在任务参数中指定“throttlingConfig
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
