检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
挂载并行文件系统 通过obsfs使用OBS服务,需要将OBS的并行文件系统挂载至您本地的文件系统上。挂载完成后,可以像操作本地目录一样操作OBS并行文件系统,比如保存某个文件至挂载目录,即上传对象至OBS。 obsfs挂载到华为云服务器ECS上时占用OBS流量,不占用华为云服务器ECS
按需计费 适用场景 按需计费适用于具有不能中断的短期、突增或不可预测的场景,例如请求、数据读取、图片处理等。 适用计费项 以下计费项支持按需计费。 表1 按需计费说明 计费项 说明 存储费用 标准存储数据容量 OBS中存储的标准存储数据所占用的存储空间容量,区分单AZ存储和多AZ存储
对IAM用户组授予OBS指定资源的指定操作权限 场景介绍 本案例介绍如何为华为云账号下的多个IAM用户或用户群组授予OBS指定资源的指定操作权限,资源可以具体到某个桶或对象。 推荐配置方法 IAM自定义策略 配置须知 按照本案例配置后,可以正常通过API或SDK完成权限所允许的操作
配置对象策略 对象策略是桶策略针对对象的策略,选中对象后配置该对象的对象策略。对象策略的资源为选中的对象,对应的动作和条件为桶策略中针对对象的动作和条件。 操作步骤 在OBS管理控制台左侧导航栏选择“桶列表”。 在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。 在待操作的对象的后面
创建桶 您可以通过OBS管理控制台、API、SDK、OBS Browser+、obsutil方式创建桶。桶是OBS中存储对象的容器。您需要先创建一个桶,然后才能在OBS中存储数据。 华为云OBS控制台支持在创建桶时选择源桶,同步桶配置。选择后可复制源桶的以下配置信息:区域 / 数据冗余策略
安装SDK 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 使用Android Studio自带的gradle下载安装OBS Android SDK,步骤如下: 打开Android
初始化配置 使用obsutil之前,您需要配置obsutil与OBS的对接信息,包括OBS终端节点地址(Endpoint)和访问密钥(AK和SK)。获得OBS的认证后,才能使用obsutil执行OBS桶和对象的相关操作。 前提条件 已下载obsutil软件包,具体请参见下载和安装obsutil
多段上传 使用场景 多段上传允许将单个对象作为一组段分别上传。每个段都是对象数据的连续部分。您可以独立上传以及按任意顺序上传这些对象的段。如果其中某个段传输失败,可以重新传输该段且不会影响其他段。当对象的所有段都上传后,OBS将这些段合并起来,然后创建对象。 一般而言,如果您的对象大小达到了
增量同步下载对象 功能说明 将OBS源桶指定路径下的所有对象同步到本地目标路径,使两边内容保持一致。这里的增量同步有两层含义:1)增量,依次比较源对象和目标文件,只下载存在变化的源对象;2)同步,命令执行完成后,保证OBS指定源桶指定路径是本地目标路径的子集,即OBS源桶指定路径下的所有对象均能在本地目标路径下找到对应文件
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置
增量同步复制对象 功能说明 将源桶指定路径下的所有对象同步到目标桶指定路径,使两边内容保持一致。这里的增量同步有两层含义:1)增量,依次比较源对象和目标对象,只复制存在变化的源对象;2)同步,命令执行完成后,保证源桶指定路径是目标桶指定路径的子集,即源桶指定路径下的所有对象均能在目标桶中找到对应对象
新建文件夹 用户可通过OBS Browser+新建文件夹。 背景信息 由于OBS没有文件系统中的文件和文件夹概念。为了使用户更方便进行管理数据,OBS提供了一种方式模拟文件夹。通过在对象的名称中增加“/”,将该对象在管理控制台上模拟成一个文件夹的形式展现。 操作步骤 登录OBS Browser
约束与限制 本章介绍OBS的性能指标和使用限制。 访问带宽和QPS 表1 访问带宽和QPS限制 限制项 说明 带宽 单个华为云账号默认的读写(GET/PUT)带宽上限是16Gbit/s。如果带宽达到该阈值,请求会触发流控。 如果您的业务有更大的带宽需求,请提交工单申请。 每秒请求数
安装SDK 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 如表1所示,PHP SDK有2种安装方式。 表1 PHP SDK安装方式概览 序号 方式 1 手动下载源码开发包安装 2
依赖缺失和依赖冲突的解决(Java SDK) 依赖缺失和依赖冲突是 Java 开发中的常见问题,在集成 SDK 的过程中也会遇到,在应用编译和运行时报错 ClassNotFoundException 与 NoClassDefFoundError 时可怀疑是否是依赖问题而导致,针对不同情况参照下述步骤进行排查和解决
恢复失败的下载任务 功能说明 根据任务号(TaskId)恢复失败的下载任务。 命令结构 Windows操作系统 obsutil cp -recover=xxx [-dryRun] [-tempFileDir=xxx] [-f] [-u] [-vlength] [-vmd5] [-j
使用桶日志记录OBS日志信息 当一个桶开启了日志记录功能后,OBS自动将该桶的日志按照固定的命名规则,生成一个对象写入用户指定的桶。 使用场景 出于分析或审计等目的,用户可以开启日志记录功能。通过访问日志记录,桶的拥有者可以深入分析访问该桶的用户请求性质、类型或趋势。当用户开启一个桶的日志记录功能后
增量同步上传对象 功能说明 将本地源路径下的所有内容同步到OBS指定目标桶,使两边内容保持一致。此处的增量同步有两层含义: 增量,依次比较源文件和目标对象,只上传存在变化的源文件。 同步,命令执行完成后,保证本地源路径是OBS指定目标桶的子集,即本地源路径下的所有文件均能在OBS指定目标桶中找到对应对象
恢复失败的上传任务 功能说明 根据任务号(TaskId)恢复失败的上传任务。 命令结构 Windows操作系统 obsutil cp -recover=xxx [-arcDir=xxx] [-dryRun] [-f] [-u] [-vlength] [-vmd5] [-j=1] [