检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
jar:/opt/client/HDFS/hadoop/share/hadoop/hdfs/hadoop-hdfs-nfs-3.1.1.jar:/opt/client/HDFS/hadoop/share/hadoop/hdfs/hadoop-hdfs-datamovement-3.1.1.jar:/op
[hdfs_example_1] INFO com.huawei.bigdata.hdfs.examples.HdfsExample - success to create path /user/hdfs-examples/hdfs_example_1 1261 [hdfs_example_0]
单击“服务列表 > 云监控服务”。 单击页面左侧的“总览 > 监控面板”,进入监控面板页面。 切换到需要添加监控视图的监控面板,然后单击“添加监控视图”,系统弹出“添加监控视图”窗口。 在“添加监控视图”界面,将视频直播所涉及的所有弹性负载均衡的并发连接数放到同一个监控视图中。 图1 添加监控视图
HDFS Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作,例如读文件、写文件等操作。 执行HDFS Shell的方法: 进入HDFS客户端如下目录,直接输入命令即可。例如: cd /opt/client/HDFS/hadoop/bin
使用LZC压缩算法存储HDFS文件 配置场景 文件压缩可以减少储存文件的空间,并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC(Lempel-Ziv Compression)提供配置方法。这种压缩格
如何导出监控数据? 用户在云监控服务页面选择“云服务监控”或“主机监控”。 单击“导出监控数据”。 根据界面提示选择“时间区间”、“周期”、“资源类型”、“维度”、“监控对象”、“监控指标”。 单击 “导出”。 一次可选择多个监控指标导出。导出文件格式为“csv”。 导出监控报告中
HDFS常用API介绍 HDFS Java API接口介绍 HDFS C API接口介绍 HDFS HTTP REST API接口介绍 父主题: HDFS应用开发常见问题
HDFS常用API介绍 HDFS Java API接口介绍 HDFS C API接口介绍 HDFS HTTP REST API接口介绍 父主题: HDFS应用开发常见问题
HDFS写并发较大时报副本不足 问题背景与现象 用户运行作业时写文件到HDFS,偶现写文件失败的情况。 操作日志如下: 105 | INFO | IPC Server handler 23 on 25000 | IPC Server handler 23 on 25000, call
追加信息到HDFS指定文件 功能简介 追加文件内容,是指在HDFS的某个指定文件后面,追加指定的内容。过程为: 使用FileSystem实例的append方法获取追加写入的输出流。 使用该输出流将待追加内容添加到HDFS的指定文件后面。 在完成后,需关闭所申请资源。 代码样例 如下是代码片段,详细代码请参考com
HDFS Java API接口介绍 HDFS完整和详细的接口可以直接参考官方网站上的描述:http://hadoop.apache.org/docs/r2.7.2/api/index.html。 HDFS常用接口 HDFS常用的Java类有以下几个。 FileSystem:是客户端应用的核心类。常用接口参见表1。
Redis监控数据异常处理方法 当对Redis监控数据存在疑问或异议时,可以使用Redis-cli访问Redis实例,执行info all命令,查看进程记录的指标。info all输出详解可参考:https://redis.io/docs/latest/commands/info/。
创建成本监控 操作步骤 登录“成本中心”。 选择“成本洞察 > 异常成本监控”。 单击“新建监控器”。 选择监控器类型,单击“下一步”。 全部产品:该类型监控器会监视您名下所有产品的支出异常情况。如果您无需按照内部组织细分成本,推荐您使用该监控器。一个账户只能创建一个全部产品类型的监控器。
导入并配置HDFS样例工程 操作场景 HDFS针对多个场景提供样例工程,帮助客户快速学习HDFS工程。 以下操作步骤以导入HDFS样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 导入样例工程 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例
创建HDFS多线程任务 功能简介 建立多线程任务,同时启动多个实例执行文件操作。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 // 业务示例2:多线程 final int THREAD_COUNT
创建HDFS目录 功能简介 创建目录过程为: 调用FileSystem实例的exists方法查看该目录是否存在。 如果存在,则直接返回。 如果不存在,则调用FileSystem实例的mkdirs方法创建该目录。 代码样例 如下是写文件的代码片段,详细代码请参考com.huawei
执行下列命令,查看当前是否存在名为“huawei”的目录。 hdfs dfs -ls / 执行结果如下: linux1:/opt/client # hdfs dfs -ls / 16/04/22 16:10:02 INFO hdfs.PeerCache: SocketCache disabled
HDFS故障排除 往HDFS写数据时报错“java.net.SocketException” 删除大量文件后重启NameNode耗时长 EditLog不连续导致NameNode启动失败 当备NameNode存储元数据时,断电后备NameNode启动失败 dfs.datanode.data
HDFS故障排除 往HDFS写数据时报错“java.net.SocketException” 删除大量文件后重启NameNode耗时长 EditLog不连续导致NameNode启动失败 当备NameNode存储元数据时,断电后备NameNode启动失败 dfs.datanode.data
1/hadoop-project-dist/hadoop-hdfs/WebHDFS.html。 准备运行环境 安装集群客户端,例如客户端安装目录为“/opt/client”。 执行下列命令进行用户认证,这里以hdfs为例,用户可根据实际用户名修改。 kinit hdfs kinit认证的默认时效为24小