检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎，用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议，在大数据场景中可以替代Hadoop系统中的HDFS服务，实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接，为大数据计算提供“数据湖”存储。
创建文件夹 功能说明 在指定桶内或本地文件系统中创建文件夹。 创建重名文件夹，不会报错，且文件夹内已存在的内容不发生变化。 命令结构 Windows操作系统 在指定桶内创建文件夹 obsutil mkdir obs://bucket/folder[/subfolder1/subfolder2]
修改写对象 功能介绍 修改写对象操作是指将指定文件桶内的一个对象从指定位置起修改为其他内容。 目前接口仅在并行文件系统支持，创建并行文件系统的方法详见请求示例：创建并行文件系统。 请求消息样式 PUT /ObjectName?modify&position=Position HTTP/1
截断对象 功能介绍 截断对象操作是指将指定文件桶内的一个对象截断到指定大小。 目前接口仅在并行文件系统支持，创建并行文件系统的方法详见请求示例：创建并行文件系统。 请求消息样式 PUT /ObjectName?truncate&length=Length HTTP/1.1 Host:
）外，obsutil还提供链式自动获取访问密钥功能，可以从系统环境变量获取访问密钥，或者通过ECS接口获取临时访问密钥。 启用链式获取访问密钥功能后，obsutil会依次从.obsutilconfig配置文件 -> 系统环境变量 -> ECS弹性云服务器中尝试获取可用的访问密钥。
Browser+不支持统计文件夹内的文件数目及大小，可以使用obsutil列举对象命令，指定前缀为需要查看的文件夹进行列举。 以Linux操作系统为例，运行./obsutil ls obs://bucket-test/test/ -du -limit=0命令，查询桶bucket-test下test文件夹的大小。
删除对象后无法恢复，请谨慎使用。 使用建议 对于并行文件系统目录，大数据场景下（目录层级深、目录下文件多）的删除，可能会因超时而删除失败，建议使用： hadoop 客户端（嵌套OBS客户端插件OBSA）删除目录：hadoop fs - rmr obs://{并行文件系统名}/{目录名} 给目录配置生命周期规则，通过生命周期后台删除。
OBS会不会扫描我的数据用于其他用途？ 不会。 系统对数据做的扫描仅限于判断数据块是否存在和被损坏（如有损坏，会启动修复），不会读取具体的内容。 父主题： 数据安全、迁移和备份
obsutil工具本身的列举相关操作不支持直接将结果保存在本地文件，但是可以通过操作系统提供的重定向操作实现将列举结果从屏显的标准输出重定向到指定的本地结果文件中；以列举桶内对象为例： Windows操作系统（在命令行cmd下执行该重定向操作） obsutil ls obs://bucketName
网络环境，操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS Turbo文件系统，文件系统类型选择“HPC型”，操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶，存储类别为“标准存储”，桶策略为“私有”，操作指导请参考创建OBS桶。
文件数据内容。 登录SFS管理控制台。 在文件系统列表中，单击创建的HPC型文件系统名称，进入文件系统详情页面。 在“基本信息”页签，设置冷数据淘汰时间。 图1 设置冷数据淘汰时间 只有已经导出到OBS且满足淘汰时间的数据才会被淘汰。 父主题： 基本配置
列举分段上传任务 功能说明 查询桶内分段上传任务。 命令结构 Windows操作系统 obsutil ls obs://bucket[/prefix] [-s] [-d] -m [-a] [-uploadIdMarker=xxx] [-marker=xxx] [-limit=1]
lue3。 fs 附加参数，可选 是否使用并行文件系统的列举方式，如果桶是并行文件系统，推荐加上该参数。 注意： 该列举方式会因为目录结构，耗时会差别很大。 该参数开启后，会忽略marker和limit值，统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。
您可以通过调用truncate_object来对对象进行截断操作。截断对象操作是指将指定并行文件系统内的一个对象截断到指定大小。 接口约束 如果对象不存在，则会报错（HTTP状态码为404）。 截断对象接口只适用于并行文件系统，该接口不支持对象桶。 方法定义 void truncate_object(const
开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。 功能说明 重命名对象操作是指将指定并行文件系统内的一个对象重命名为其他对象名。 接口约束 您必须是并行文件系统拥有者或拥有重命名文件的权限，才能重命名文件。建议使用IAM或策略进行授权，如果使用IAM则需授予obs:
Turbo”。 在文件系统列表中，单击要扩容的文件系统所在行的“容量调整”或“扩容”，弹出对话框。 图1 SFS Turbo HPC型容量调整 根据业务需要，在“新容量”文本框中重新设置文件文系统的容量。 在弹出对话框中确认容量调整信息后，单击“是”。 在文件系统列表中查看文件系统调整后的容量信息。
归档对象不能直接下载，需要先进行恢复才能下载。 先对对象进行恢复操作。 403 Forbidden NotSignedUp 您的账户还没有在系统中注册，必须先在系统中注册了才能使用该账户。 先注册OBS服务。 403 Forbidden RequestTimeTooSkewed 客户端发起请求的时间与OBS服务端的时间相差太大。
如果待下载的对象名匹配该参数，则跳过该对象的复制。 须知： 建议使用引号传递该匹配模式（macOS/Linux操作系统使用单引号，Windows操作系统使用双引号）防止特殊符号被操作系统转义，导致不可预期的结果。 该匹配模式作用于对象全路径（含从根路径开始的对象前缀和对象名，例如，桶内对
使用OBS管理控制台下载一个对象名较长的对象到本地后，为什么对象名称发生了改变？ 原因： Windows操作系统下允许的文件名长度最大为255字符，包括文件名和扩展名在内。 当对象名称长度超过255字符时，将该对象下载到本地后，系统便会自动将对象名截取至255字符。 解决办法： 请修改对象名称在255字符内。
如果待上传的文件名匹配该参数，则跳过该文件的上传。 须知： 建议使用引号传递该匹配模式（macOS/Linux操作系统使用单引号，Windows操作系统使用双引号）防止特殊符号被操作系统转义，导致不可预期的结果。 该匹配模式作用于文件全路径（含文件名和文件目录）。 该匹配模式不适用于文件夹。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
