检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎，用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议，在大数据场景中可以替代Hadoop系统中的HDFS服务，实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接，为大数据计算提供“数据湖”存储。
OBS会不会扫描我的数据用于其他用途？ 不会。 系统对数据做的扫描仅限于判断数据块是否存在和被损坏（如有损坏，会启动修复），不会读取具体的内容。 父主题： 数据安全、迁移和备份
）外，obsutil还提供链式自动获取访问密钥功能，可以从系统环境变量获取访问密钥，或者通过ECS接口获取临时访问密钥。 启用链式获取访问密钥功能后，obsutil会依次从.obsutilconfig配置文件 -> 系统环境变量 -> ECS弹性云服务器中尝试获取可用的访问密钥。
删除对象后无法恢复，请谨慎使用。 使用建议 对于并行文件系统目录，大数据场景下（目录层级深、目录下文件多）的删除，可能会因超时而删除失败，建议使用： hadoop 客户端（嵌套OBS客户端插件OBSA）删除目录：hadoop fs - rmr obs://{并行文件系统名}/{目录名} 给目录配置生命周期规则，通过生命周期后台删除。
管理”对话框中显示。 单击“确定” 在OBS Browser右上角，单击选择账号即可登录。 后续处理 OBS Browser的“系统配置”，请参见系统配置。 如果希望通过OBS Browser管理多个账号拥有的对象，可单击账号名，并选择“账号管理”添加多个账号信息。单击想要登录的
Browser更新的方法。 操作步骤 系统默认勾选“自动检测软件新版本”，每次登录OBS Browser时，都会自动检查软件当前版本是否为最新版本。用户仅需根据界面提示更新软件即可。 如果用户登录OBS Browser后，单击页面右上角的，选择“系统配置”并单击“其他”，取消勾选“自
服务论坛中发帖求助。 您可以通过调用truncate_object来对对象进行截断操作，truncate_object接口只适用于并行文件系统的桶，对象桶该接口不支持。 参数描述 字段名 类型 约束 说明 option 请求桶的上下文，配置option 必选 桶参数。 key char
为云对象存储服务论坛中发帖求助。 您可以通过rename_object来修改对象名和目录名，rename_object接口只适用于并行文件系统，对象桶该接口不支持。 参数描述 字段名 类型 约束 说明 option 请求桶的上下文，配置option 必选 桶参数。 key char
网络环境，操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS Turbo文件系统，文件系统类型选择“HPC型”，操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶，存储类别为“标准存储”，桶策略为“私有”，操作指导请参考创建OBS桶。
obsutil工具本身的列举相关操作不支持直接将结果保存在本地文件，但是可以通过操作系统提供的重定向操作实现将列举结果从屏显的标准输出重定向到指定的本地结果文件中；以列举桶内对象为例： Windows操作系统（在命令行cmd下执行该重定向操作） obsutil ls obs://bucketName
文件数据内容。 登录SFS管理控制台。 在文件系统列表中，单击创建的HPC型文件系统名称，进入文件系统详情页面。 在“基本信息”页签，设置冷数据淘汰时间。 图1 设置冷数据淘汰时间 只有已经导出到OBS且满足淘汰时间的数据才会被淘汰。 父主题： 基本配置
列举分段上传任务 功能说明 查询桶内分段上传任务。 命令结构 Windows操作系统 obsutil ls obs://bucket[/prefix] [-s] [-d] -m [-a] [-uploadIdMarker=xxx] [-marker=xxx] [-limit=1]
列举桶内权限（obs:bucket:ListBucket）和列举桶权限（obs:bucket:ListAllMyBuckets）。 OBS系统权限说明请参见表1。 图5 配置自定义策略 用户所在的用户组在IAM中需未添加此处待添加的策略，否则添加的策略将以IAM中配置的为准。 勾选待添加的策略。
Turbo”。 在文件系统列表中，单击要扩容的文件系统所在行的“容量调整”或“扩容”，弹出对话框。 图1 SFS Turbo HPC型容量调整 根据业务需要，在“新容量”文本框中重新设置文件文系统的容量。 在弹出对话框中确认容量调整信息后，单击“是”。 在文件系统列表中查看文件系统调整后的容量信息。
Browser对对象进行上传、下载、删除等管理操作时，需要调用OBS Browser内置数据库，数据库在运行时产生的二进制数据默认保存在Windows操作系统用户的个人文件夹下。 当Windows操作系统用户名包含非英文字符时，OBS Browser内置数据库无法识别数据保存路径，进而导致上传、下载、删除等任务无法添
使用OBS管理控制台下载一个对象名较长的对象到本地后，为什么对象名称发生了改变？ 原因： Windows操作系统下允许的文件名长度最大为255字符，包括文件名和扩展名在内。 当对象名称长度超过255字符时，将该对象下载到本地后，系统便会自动将对象名截取至255字符。 解决办法： 请修改对象名称在255字符内。
直读归档存储对象 使用场景 实际业务场景下，您可能有不通过恢复而直接获取归档数据的诉求。如有时间要求，需要急速读取归档数据；或者在OBS与其他系统对接的情况下，因接口兼容问题，需要直接读取归档数据。 桶开启归档数据直读后，存储类别为归档存储的对象可以直接访问，无需提前恢复。开启直读后
归档对象不能直接下载，需要先进行恢复才能下载。 先对对象进行恢复操作。 403 Forbidden NotSignedUp 您的账户还没有在系统中注册，必须先在系统中注册了才能使用该账户。 先注册OBS服务。 403 Forbidden RequestTimeTooSkewed 客户端发起请求的时间与OBS服务端的时间相差太大。
任务管理功能无法正常使用”的报错 问题 在Windows操作系统上启动OBS Browser时，出现“OBS Browser由于数据库不可用原因，导致任务管理功能无法正常使用。请关闭客户端，并前往您的数据库路径（可以在“系统配置 > 其他”中查看）删除obs文件夹中的所有文件，再
账号ID 桶的拥有者全局唯一标识，与“我的凭证”页面的“账号ID”相同。 创建时间 桶的创建时间。 “存储用量”和“对象数量”非实时数据，系统更新存在至少15分钟的延迟。 父主题： 桶管理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
