检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
截断对象 功能介绍 截断对象操作是指将指定文件桶内的一个对象截断到指定大小。 目前接口仅在并行文件系统支持,创建并行文件系统的方法详见请求示例:创建并行文件系统。 请求消息样式 PUT /ObjectName?truncate&length=Length HTTP/1.1 Host:
资源成本及规划 最佳实践中涉及的资源如下: 表1 资源说明 资源 资源说明 弹性云服务器(ECS) Windows系统:需安装OBS Browser+ Linux系统:需安装obsutil 对象存储服务(OBS) OBS作为数据存储资源池,以减轻服务器负担。 须知: 确保待访问的
针对同一个对象或桶的操作,比如多个客户端对同一个对象并行上传、查询和删除时,具体操作结果依赖于操作到达系统的时间和系统内部处理的时延,可能返回不一致的结果。比如,当多个客户端并行上传同一个对象时,系统最后收到的上传请求会覆盖前一个上传的对象。 详情请参考并发一致性说明。 父主题: API和SDK等开发者相关
重命名对象 功能介绍 重命名对象操作是指将指定文件桶内的一个对象重命名为其他对象名。 目前接口仅在并行文件系统支持,创建并行文件系统的方法详见请求示例:创建并行文件系统。重命名对象操作为非幂等操作。 请求消息样式 POST /ObjectName?name=Name&rename
包,由于2月只有28天,则将会在3月1日00:00:00重置资源额度。在此之后,系统默认的重置时间将会变为次月的1日00:00:00。 使用OBS。 资源包购买完成后可以直接使用OBS,无需绑定,系统会根据资源包和桶属性自动匹配。当资源包和桶属性一致时,会自动使用资源包抵扣对应的计费项,无法抵扣的计费项将按需计费。
OBS会不会扫描我的数据用于其他用途? 不会。 系统对数据做的扫描仅限于判断数据块是否存在和被损坏(如有损坏,会启动修复),不会读取具体的内容。 父主题: 数据安全、迁移和备份
Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。
)外,obsutil还提供链式自动获取访问密钥功能,可以从系统环境变量获取访问密钥,或者通过ECS接口获取临时访问密钥。 启用链式获取访问密钥功能后,obsutil会依次从.obsutilconfig配置文件 -> 系统环境变量 -> ECS弹性云服务器中尝试获取可用的访问密钥。
删除对象后无法恢复,请谨慎使用。 使用建议 对于并行文件系统目录,大数据场景下(目录层级深、目录下文件多)的删除,可能会因超时而删除失败,建议使用: hadoop 客户端(嵌套OBS客户端插件OBSA)删除目录:hadoop fs - rmr obs://{并行文件系统名}/{目录名} 给目录配置生命周期规则,通过生命周期后台删除。
文件数据内容。 登录SFS管理控制台。 在文件系统列表中,单击创建的HPC型文件系统名称,进入文件系统详情页面。 在“基本信息”页签,设置冷数据淘汰时间。 图1 设置冷数据淘汰时间 只有已经导出到OBS且满足淘汰时间的数据才会被淘汰。 父主题: 基本配置
网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS Turbo文件系统,文件系统类型选择“HPC型”,操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶,存储类别为“标准存储”,桶策略为“私有”,操作指导请参考创建OBS桶。
服务论坛中发帖求助。 您可以通过调用truncate_object来对对象进行截断操作,truncate_object接口只适用于并行文件系统的桶,对象桶该接口不支持。 参数描述 字段名 类型 约束 说明 option 请求桶的上下文,配置option 必选 桶参数。 key char
为云对象存储服务论坛中发帖求助。 您可以通过rename_object来修改对象名和目录名,rename_object接口只适用于并行文件系统,对象桶该接口不支持。 参数描述 字段名 类型 约束 说明 option 请求桶的上下文,配置option 必选 桶参数。 key char
obsutil工具本身的列举相关操作不支持直接将结果保存在本地文件,但是可以通过操作系统提供的重定向操作实现将列举结果从屏显的标准输出重定向到指定的本地结果文件中;以列举桶内对象为例: Windows操作系统(在命令行cmd下执行该重定向操作) obsutil ls obs://bucketName
使用OBS管理控制台下载一个对象名较长的对象到本地后,为什么对象名称发生了改变? 原因: Windows操作系统下允许的文件名长度最大为255字符,包括文件名和扩展名在内。 当对象名称长度超过255字符时,将该对象下载到本地后,系统便会自动将对象名截取至255字符。 解决办法: 请修改对象名称在255字符内。
列举分段上传任务 功能说明 查询桶内分段上传任务。 命令结构 Windows操作系统 obsutil ls obs://bucket[/prefix] [-s] [-d] -m [-a] [-uploadIdMarker=xxx] [-marker=xxx] [-limit=1]
Turbo”。 在文件系统列表中,单击要扩容的文件系统所在行的“容量调整”或“扩容”,弹出对话框。 图1 SFS Turbo HPC型容量调整 根据业务需要,在“新容量”文本框中重新设置文件文系统的容量。 在弹出对话框中确认容量调整信息后,单击“是”。 在文件系统列表中查看文件系统调整后的容量信息。
lue3。 fs 附加参数,可选 是否使用并行文件系统的列举方式,如果桶是并行文件系统,推荐加上该参数。 注意: 该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。
归档对象不能直接下载,需要先进行恢复才能下载。 先对对象进行恢复操作。 403 Forbidden NotSignedUp 您的账户还没有在系统中注册,必须先在系统中注册了才能使用该账户。 先注册OBS服务。 403 Forbidden RequestTimeTooSkewed 客户端发起请求的时间与OBS服务端的时间相差太大。
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 修改写接口modify_object只适用于并行文件系统的桶,对象桶该接口不支持。该接口同put_object参数和使用方法一样,只不过是多了一个写对象的起始位置position。 参数描述 字段名