检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
权信息的URL,可将该URL提供给其他用户进行临时访问。在生成URL时,您需要指定URL的有效期来限制访客用户的访问时长。 如果您想授予其他用户对桶或对象临时进行其他操作的权限(例如上传或下载对象),则需要生成带对应请求的URL后(例如使用生成PUT请求的URL上传对象),将该URL提供给其他用户。
桶的存储类别。不同的存储类别可以满足客户业务对存储性能、成本的不同诉求。 标准存储:适用于有大量热点文件或小文件,且需要频繁访问(平均一个月多次)并快速获取数据的业务场景。 低频访问存储:适用于不频繁访问(平均一年少于12次),但需要快速获取数据的业务场景。 归档存储:适用于很少访问(平均一年一次),且对数据获取速率要求不高的业务场景。
资源准备 使用obsfs之前,您需要完成如表1所示的资源准备。 表1 资源准备 资源项 说明 操作指导 华为账号 账号是您访问华为云的主体,可以管理IAM用户、访问密钥及OBS并行文件系统等obsfs需要的资源,使用obsfs之前,您需要拥有一个已成功开通OBS的账号。 注册华为账号并开通华为云
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能说明 用户可以根据需要将存储在OBS上的对象复制到指定路径下。复制对象操作将创建需要复制的对象的副本。在单次操作中,您可以创建最大5GB的对象副本。 接口约束 您必须是桶拥有者或拥有复制对象的
使用OBS SDK上传超过5GB的大文件失败 OBS服务端上传对象接口有规格限制,单次可上传的最大文件为5GB,如果需要上传超过5GB的大文件,需要通过OBS服务端提供的分段上传接口实现。具体步骤为: 调用OBS服务端初始化上传段任务接口,生成分段上传ID(Upload ID)。
统计文件夹中的对象数量和大小 如果您需要统计桶中文件夹的大小及其所含对象数量,可以使用文件夹统计功能。 统计文件夹大小会收取“列举桶内对象”接口的调用费用,详情请参考计费说明。 约束与限制 支持统计对象数量在100万以内的文件夹,对象数量超过100万的文件夹建议使用obsutil工具的列举对象命令进行统计。
用户可根据需要将存储在OBS上的文件或文件夹下载到本地。 操作步骤 登录OBS Browser+。 选中待配置的桶,选中需要下载的文件或文件夹后,单击“下载”。 OBS支持批量下载多个文件和文件夹,单击选中待下载的文件或文件夹即可。 对于存储类别为归档存储的桶中的文件,需要确认对象
删除文件或文件夹 用户可根据需要删除已有文件或文件夹。 背景信息 删除文件夹时,文件夹内的文件也将同时被删除,请务必确认这些文件可以被删除。 删除无用的文件或文件夹可节省空间和成本。 用户上传到OBS的某些文件,可能需要定期删除,对于这类删除文件的场景,可通过OBS的生命周期管理
创建桶和获取桶列表这两个服务级的操作权限,需要通过IAM权限配置。 由于缓存的存在,配置桶策略后,最长需要等待5分钟策略才能生效。 桶策略模板: OBS控制台预置了八种常用典型场景的桶策略模板,用户可以使用模板创建桶策略,快速完成桶策略配置。 选择使用模板创建时,部分模板需要指定被授权用户或资源范围
桶基础操作接口 接口 并行文件系统是否兼容 差异说明 获取桶列表 √ 获取并行文件系统列表需要携带头域“x-obs-bucket-type: POSIX”。 创建桶 √ 创建并行文件系统需要携带头域“x-obs-fs-file-interface:Enabled” 列举桶内对象 √
Write Win策略,但“Last Write”的时间定义为段元数据创建时间。为了保证数据准确性,客户端需要加锁保证同一对象的同一个段上传的并发性。同一对象的不同段并发上传不需要加锁。 方法定义 ObsClient.uploadPart(bucketName, objectKey,
别为“归档存储”,则需要先恢复才能被访问,具体恢复步骤请参见恢复归档存储文件。 网站首页文件(index.html)和404错误页面(error.html),需要存放在桶的根目录下。 单击“上传”完成文件上传。 配置静态网站托管 上传完静态网站文件后,您需要执行以下步骤,将当前桶设置为静态网站托管模式。
己已创建的其他桶名称相同,也不能与其他用户(包括其他华为云账号)创建的桶名称相同。 用户删除桶后,立即创建同名桶或并行文件系统会创建失败,需要等待30分钟才能创建。 当创建桶提示“另外一个冲突的操作当前正作用在这个资源上,请重试。”或“A conflicting operation
多版本控制简介 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS支持保存一个对象的多个版本,您可以利用多版本控制,在一个桶中保留多个版本的对象。 多版本功能可以方便地检索和
通过内网或互联网上传数据到OBS所产生的流入流量。 免费 内网流出流量 通过同区域华为云ECS、CCE、BMS等下载OBS的数据所产生的流出流量。 如果想使用内网访问OBS,需要提前进行相关配置,配置方法请参见在ECS上通过内网访问OBS。 免费 公网流出流量 通过互联网从OBS下载标准存储类型的数据所产生的流出流量。
定义元数据。 说明: 为了节省内存开销,SDK 采用了流式计算的方法,这也就意味着,普通上传时需要读取并加密文件两次;在另外由于断点续传上传接口为分段上传接口的封装,在断点续传下,则需要读取并加密文件三次。 取值范围: True:校验加密后数据的sha256,SDK自动计算待上传对象的加密前
是否支持统计文件夹内的文件数目及大小 OBS Browser+不支持统计文件夹内的文件数目及大小,可以使用obsutil列举对象命令,指定前缀为需要查看的文件夹进行列举。 以Linux操作系统为例,运行./obsutil ls obs://bucket-test/test/ -du -
企业数据权限控制最佳实践 部门公共数据权限管理 部门/项目之间数据共享 给业务部门授予独立的资源权限 业务部门之间桶资源隔离
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。
流式上传 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 流式上传需要将您的数据流传入回调数据callback_data中,然后使用结构体obs_put_object_handler中定义的回调函数put_object_dat