检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FS文件系统的相关接口实现,让大数据计算引擎(Hive、Spark等)可以将OBS作为HDFS协议的底层存储。 图2 存算分离方案中的OBSFileSystem OBS服务支持对象存储桶(对象语义)和并行文件系统(POSIX文件语义),在大数据场景下建议选择并行文件系统。并行文件
给用户组授权之前,请您了解用户组可以添加的OBS权限,并结合实际需求进行选择,OBS支持的系统权限,请参见:OBS系统权限。如果您需要对除OBS之外的其它服务授权,IAM支持服务的所有权限请参见系统权限。 示例流程 图1 为IAM用户授权OBS资源权限 下面内容以配置IAM用户的对象存储服务“Tenant
对象策略。 用户有待复制的源对象的读权限。 OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点。 复制对象操作的请求需要通过头域携带拷贝的源桶和对象信息,不能携带消息实体。 支持同区域跨桶复制,不支持跨区域复制。 目标对象大小范围是[0
式详见使用IAM自定义策略、配置对象策略。 OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点。 默认情况下,允许桶所有者和多段上传任务的发起者执行此操作。除了默认情况之外,桶所有者可以允许其他委托人对桶执行ListBucketMultipartUploads操作。
计费概述 本章节主要介绍对象存储的计费说明,包括计费项、计费模式等。关于并行文件系统和专属对象存储的计费说明,请参考产品价格详情。 计费项 OBS计费项由存储费用、请求费用、流量费用、数据恢复费用和数据处理费用组成,如图1所示。 图1 OBS计费项一览 计费模式 OBS提供按需计
上传/下载性能优化 OBS Browser+对大于50MB的文件/对象默认采用分段方式进行上传/下载,与分段任务相关的参数都在“系统设置”->“基础设置”中。 表1 参数 描述 最大并行任务数 任务同时运行的最大数量,默认是3,取值范围是:1~50。 单任务最大并发数 每个任务的
包,由于2月只有28天,则将会在3月1日00:00:00重置资源额度。在此之后,系统默认的重置时间将会变为次月的1日00:00:00。 使用OBS。 资源包购买完成后可以直接使用OBS,无需绑定,系统会根据资源包和桶属性自动匹配。当资源包和桶属性一致时,会自动使用资源包抵扣对应的计费项,无法抵扣的计费项将按需计费。
方式、追加写对象等不会改变对象内容,只涉及改变对象的元数据,不会改变最后一次修改时间。 对于并行文件系统,修改写和截断文件会改变文件的最后一次修改时间。 对于对象桶和并行文件系统,上传或者复制同名对象(或文件)会更新对象(或文件)的最后一次修改时间。如果未开启多版本控制,对象(或
/encrypobject?AccessKeyId=H4IPJX0TQTHTHEBQQCEC&Expires=1532688887&Signature=EQmDuOhaLUrzrzRNZxwS72CXeXM%3D HTTP/1.1 User-Agent: curl/7.29.0 Host:
卸载OBS Browser+ 卸载OBS Browser+的操作步骤如下: 在Windows系统的“控制面板 > 程序 >程序和功能”中,找到“obs-browser-plus xxx”。 单击右键,选择“卸载”。 根据提示完成卸载。
助。 接口约束 单个桶的生命周期规则条数没有限制,但一个桶中所有生命周期规则的XML描述总大小不能超过20KB。 您最多可以在一个并行文件系统下配置20条生命周期管理规则,超过20条将提示不支持。 您必须是桶拥有者或拥有设置桶的生命周期配置的权限,才能设置桶的生命周期配置。建议使
式详见使用IAM自定义策略、配置对象策略。 OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点。 一个对象可以有多个元数据,总大小不能超过8KB。 当前元数据名称不支持非ASCII码字符,元数据值包含非ASCII码字符时需进行Base64编码。
默认情况下,OBS中新创建的桶不会开启多版本功能,向同一个桶上传同名的对象时,新上传的对象将覆盖原有的对象。 约束与限制 开启了桶级WORM开关,系统将自动开启多版本,并且不允许暂停多版本。 开启多版本控制 桶中已有对象的版本ID(空)和内容都不会变化。再次上传该同名对象,对象版本示意图如图1所示。
合并段 功能介绍 如果用户上传完所有的段,就可以调用合并段接口,系统将在服务端将用户指定的段合并成一个完整的对象,了解完整的分段上传流程请参见分段上传。在执行“合并段”操作以前,用户不能下载已经上传的数据。在合并段时需要将多段上传任务初始化时记录的附加消息头信息拷贝到对象元数据中
使用obsutil下载文件到99%后失败 obsutil上传下载速度慢 obsutil cp命令如何开启增量上传、下载和复制? 并行文件系统是否支持挂载到Windows服务器?
式详见使用IAM自定义策略、配置对象策略。 OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点。 一个对象可以有多个元数据,总大小不能超过8KB。 当前元数据名称不支持非ASCII码字符,元数据值包含非ASCII码字符时需进行Base64编码。
最佳实践 利用obsutil帮助命令查找工具功能 利用crontab配置定时任务 将obsutil设为系统内置命令 为obsutil配置自动获取访问密钥 obsutil性能调优最佳实践 利用obsutil进行断点续传 利用obsutil上传软链接 为obsutil配置HTTP代理
式详见使用IAM自定义策略、配置对象策略。 OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点。 对于存储类别为归档存储或深度归档存储的对象,需要确认对象的状态为“已恢复”才能对其进行下载。 方法定义 obsClient.getOb
见使用IAM自定义策略、自定义创建桶策略。 OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点。 方法定义 obsClient.setBucketLogging(final SetBucketLoggingRequest request)
数中携带鉴权信息的URL,以对OBS服务进行特定操作。 生成带授权信息的表单上传参数 ObsClient.createPostSignature 生成用于鉴权的请求参数,以进行基于浏览器的POST表单上传。 断点续传上传 ObsClient.uploadFile 对分段上传的封装