检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果希望将对象限时对外开放供所有人查阅,可以通过对象的分享功能实现。 文件分享方法 在OBS管理控制台左侧导航栏选择“桶列表”。 在桶列表单击目标桶的桶名称,进入“对象”页面。 选中待分享的文件,并单击右侧操作列的“分享”。 此时,链接信息中的链接就已经生效并开始计时,有效期为默认的5分钟。修改URL有效期
我可以修改桶所在的区域吗? 不可以。 桶创建成功后,不支持变更区域,请谨慎选择。 父主题: 桶和对象相关
),能设的最大值为263-1。桶的默认配额为0,表示没有限制桶配额。 桶配额设置后,如果想取消配额限制,可以把配额设置为0。 由于桶配额的校验依赖于桶存量,而桶存量是后台计算,因此桶配额可能不会及时生效,存在滞后性。可能会出现桶存量超出配额或者删除数据后存量未能及时回落的情况。 桶存量查询接口请参见获取桶存量信息。
Checkpoint主要要求高吞吐、减少训练中断的时间。 文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以
获取用户组名称和ID 登录华为云,进入IAM控制台,选择“用户组”页签。 单击需要查询的用户组前的下拉框,即可查询用户组名称、用户组ID。 图3 查询用户组名称、用户组ID 获取区域ID 登录华为云,进入IAM控制台,选择“项目”页签。 “项目”列的内容即为所属区域对应的ID。 图4
Storage Service)常见应用场景的操作实践,为每个实践提供详细的方案描述和操作指导,帮助用户轻松构建基于OBS的存储业务。 表1 OBS最佳实践一览表 最佳实践 说明 面向AI场景使用OBS+SFS Turbo的存储加速实践 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS
OBS提供高并发、高可靠、低时延、低成本的海量存储系统,结合计算服务可快速搭建高扩展性、低成本、高可用的基因测序平台。 客户数据中心测序仪上的数据通过云专线自动快速上传到华为云,通过由ECS、CCE、MRS等服务搭建的计算集群进行分析计算,分析计算产生的数据和计算结果存储到OBS中,其中上传到华为云的基因数据自
华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。
上述示例中需要用户手动修改的参数介绍如表1所示: 表1 参数修改 需要修改的参数 解释 GetBucketLogging Action字段的参数值,表示此Policy的操作,Action字段为OBS支持的所有操作集合,以字符串形式表示,不区分大小写。支持通配符“*”,表示该资源能进行的所有操作。
账单管理”查看与OBS相关的流水和明细账单,以便了解您的消费情况。如需了解具体操作步骤,请参见费用账单。 欠费 在使用云服务时,账户的可用额度小于待结算的账单,即被判定为账户欠费。欠费可能会导致OBS中存储的数据丢失,需要及时充值。详细介绍请参见欠费说明。 停止计费 当OBS桶中存储的数据不再使
桶(Bucket)是OBS中存储对象的容器。对象存储提供了基于桶和对象的扁平化存储方式,桶中的所有对象都处于同一逻辑层级,去除了文件系统中的多层级树形目录结构。 每个桶都有自己的存储类别、访问权限、所属区域等属性,用户可以在不同区域创建不同存储类别和访问权限的桶,并配置更多高级属性来满足不同场景的存储诉求。
READ 读权限。 如果有桶的读权限,则可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本。 如果有对象的读权限,则可以获取该对象内容和元数据。 PERMISSION_WRITE WRITE 写权限。 如果有桶的写权限,则可以上传、覆盖和删除该桶内任何对象和段。 此权限在对象上不适用。
为什么OBS存储的数据丢失了? OBS是否支持流量监控? OBS上传下载速率的影响因素有哪些? 对象存储与SAN存储和NAS存储相比较有什么优势? OBS的文件夹与文件系统的文件夹是否一样? OBS、EVS和SFS有什么区别? 如何判断是否内网访问OBS? 我的OBS桶性能是否会受其他用户业务的影响?
上传对象时,OBS会先在客户端计算出对象的MD5值然后携带上传至OBS,OBS服务端再根据上传的对象内容计算出MD5值,最终与携带上传的MD5值进行对比,如果对比结果一致,对象上传成功,否则上传失败。使用MD5值对上传数据进行一致性校验的示意图如图1所示。 图1 校验上传对象的一致性 下载对象
您可以根据需要,将任何类型的文件上传到OBS桶中进行存储。 下面介绍如何调用PUT上传API在指定的桶中上传对象,API的调用方法请参见如何调用API。 前提条件 已获取AK和SK,获取方法参见获取访问密钥(AK/SK)。 已创建了至少一个可用的桶。 已准备好了待上传的文件,并清楚文件所在的本地完整路径。
随着大数据技术的飞速发展,对数据价值的认识逐渐加深,大数据已经融入到了各行各业。根据相关调查报告数据显示,超过39.6%的企业正在应用大数据并从中获益;超过89.6%的企业已经成立或计划成立相关的大数据分析部门;超过六成的企业在扩大大数据的投入力度。对各行业来讲,大数据的使用能力成为未来取得竞争优势的关键能力之一。
OBS提供可视化签名计算工具,帮助您轻松完成签名计算。 使用可视化签名工具计算签名 手动编码计算 按照签名算法手动编码计算签名。 手动编码计算签名 使用SDK计算签名 OBS SDK内部已实现签名,因此您在使用SDK访问OBS时,无需关注签名问题。各语言SDK实现签名计算的源码如表2所示:
设置桶和对象的存储类别 操作场景 本章节指导用户在创建桶和上传对象时,初次设置桶和对象的存储类别。如果桶和对象已有存储类别,而您想要修改其存储类别,请查看转换桶和对象的存储类别。 桶存储类别和对象存储类别 创建桶时支持设置桶存储类别,也可在桶创建完成后修改桶存储类别。 上传对象时
密后,对于任何不带加密头域的上传对象的请求,将使用桶的默认加密配置进行加密。有关桶的加密配置的更多信息请参考设置桶的加密配置章节。 表1 SSE-OBS方式使用的头域 名称 描述 x-obs-server-side-encryption 使用该头域表示服务端加密是SSE-OBS方式。对象使用SSE-OBS方式加密。
ObsClient({ // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量AccessKeyID和SecretAccessKey。