检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作流程 大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接,实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导,详情请参见支持的大数据平台简介。 (可选)OBS除了可以与主流大数据平台对接外
如何购买专属对象存储? 前提条件 请确保已开通专属云。如未开通,可拨打免费客服电话4000-955-988咨询并开通。 购买步骤 登录管理控制台。 选择“专属云 > 专属对象存储 DOBS”。 进入专属对象存储页面。 单击“申请资源”,根据界面提示选择存储容量和购买时长。 单击“立即申请”。
产品优势 OBS与自建存储服务器对比 在信息时代,企业数据直线增长,自建存储服务器存在诸多劣势,已无法满足企业日益强烈的存储需求。表1向您详细展示了OBS与自建存储服务器的优劣势对比。 表1 OBS与自建存储服务器对比 对比项 OBS 自建存储服务器 数据存储量 提供海量的存储服
约束与限制 本章介绍OBS的性能指标和使用限制。 访问带宽和QPS 表1 访问带宽和QPS限制 限制项 说明 带宽 单个华为云账号默认的读写(GET/PUT)带宽上限是16Gbit/s。如果带宽达到该阈值,请求会触发流控。 如果您的业务有更大的带宽需求,请提交工单申请。 每秒请求数(Query
通过obsutil命令行工具快速使用OBS obsutil是一款命令行工具,对于熟悉命令行的用户,obsutil能在执行批量处理、自动化任务的场景中为您带来更优体验。 本章节以Linux操作系统为例,以上传一个文件至“bucket-test”桶为例,帮助您快速通过obsutil使
配置双端固定实现VPC粒度的访问控制 操作场景 使用“双端固定”特性,即同时设置VPC终端节点策略与桶策略,可以对OBS的资源提供VPC粒度的权限控制。 一方面,设置VPC终端节点策略可以限制VPC中的服务器(ECS/CCE/BMS)访问OBS中的特定资源;另一方面,设置桶策略可
对其他账号下的IAM用户授予桶和桶内资源的访问权限 场景介绍 本案例介绍如何为其他华为云账号下的IAM用户授予OBS桶和桶内资源的访问权限。 此处以授予上传和下载桶内对象的权限为例。如果需要配置其他指定的权限,在桶策略和给IAM用户授权中配置对应的权限即可。 推荐配置方法 对其他
列举多版本对象(Java SDK) 功能说明 用列举桶内对象接口,可列举指定桶内的部分或所有多版本对象的描述信息。您还可以通过设置前缀、数量、起始位置等参数,返回符合您筛选条件的多版本对象信息。返回结果以多版本对象名的字典序排序。 ObsClient.listVersions返回结果包含多版本对象和对象删除标记。
对其他账号授予指定对象的读权限 场景介绍 本案例介绍如何为其他账号授予OBS桶中某个对象或某类对象的读权限。这里的账号指华为云账号本身,不包含账号下的IAM用户,如果要为IAM用户授权,请参见对其他账号下的IAM用户授予桶和桶内资源的访问权限。 推荐配置方法 对其他账号授权,推荐使用桶策略。
使用预签名URL直传OBS 方案架构 应用客户端每个请求都将向应用服务器申请预签名URL,该预签名URL有效期由应用服务器管理。具体流程如图1。 图1 移动应用访问OBS数据流程 角色分析如下: 应用客户端:即最终用户手机上的APP,负责向应用服务器申请包含预签名的URL,以及访问OBS完成数据上传或下载。
让IAM用户只能看到被授权的桶 场景介绍 本章节介绍如何通过企业项目为华为云账号下的某个IAM用户配置指定桶的权限,使其只能在控制台看到授权的桶并且拥有桶的指定权限,无法看到账号下的其他桶,实现桶资源的隔离。 本案例将指定IAM用户test-user只能在控制台看到名为examp
费用账单 如果您需要查看OBS详细的费用明细,您可以前往费用中心进行查看。费用账单包含所有的按需和资源包费用明细。 账单上报周期 资源包购买完成支付后,会实时上报一条账单到计费系统进行结算。 OBS相关计费项会按照固定周期上报使用量到计费系统进行结算。OBS按小时进行结算,计费资源的扣费时间可能会滞后于结算周期。
删除桶(Harmony SDK) 功能说明 桶为空时,用户可以删除桶,以免占用桶数量配额。删除桶后需要等待30分钟才能创建同名桶。 华为云无法恢复用户主动删除的OBS数据。因此调用接口删除桶后,桶相关数据无法恢复,请谨慎操作。 接口约束 您必须是桶拥有者或拥有删除桶的权限,才能删
OBS上传下载速率的影响因素有哪些? 影响OBS上传下载速率的因素有: 单个华为云账号默认的OBS读写带宽(GET请求带宽与PUT请求带宽的总和)上限是16Gbit/s(包括公网和内网带宽一共16Gbit/s)。如果带宽达到该阈值,请求会触发流控。 如果用户购买的虚拟机网卡带宽低
跨区域复制 当前,OBS支持一个源桶到一个目标桶配置一条复制所有对象的跨区域复制规则,或多条按前缀匹配的跨区域复制规则。 跨区域复制不保证时效性,配置跨区域复制规则后,可能会出现对象不会立即进行复制的情况,请耐心等待。 开启WORM保留策略的桶暂不支持跨区域复制能力。 使用场景
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容
为obsutil配置自动获取访问密钥 特性说明 除了从配置文件.obsutilconfig中获取访问密钥(AK/SK)外,obsutil还提供链式自动获取访问密钥功能,可以从系统环境变量获取访问密钥,或者通过ECS接口获取临时访问密钥。 启用链式获取访问密钥功能后,obsutil会依次从
资源包概述 资源包说明 您也可以通过包年包月(资源包)的方式,提前购买使用额度和时长,获取更多的优惠。超出资源包的部分自动转按需计费。如何购买资源包? 对象存储服务暂不支持退订资源包,建议您在购买资源包前提前规划资源的使用额度和时长。 对象存储服务资源包仅支持抵扣资源包购买后产生
通过控制台快速使用OBS 控制台是网页形式的操作平台,提供更直观的界面操作,简单易上手。 本章节以上传对象至“test-example-bucket”桶为例,帮助您通过控制台快速使用OBS的基础功能,包括创建桶、上传对象、下载对象、分享对象。 准备工作 使用OBS之前,您需要拥有
通过控制台快速使用OBS 控制台是网页形式的操作平台,提供更直观的界面操作,简单易上手。 本章节以上传对象至“test-example-bucket”桶为例,帮助您通过控制台快速使用OBS的基础功能,包括创建桶、上传对象、下载对象、分享对象。 准备工作 使用OBS之前,您需要拥有