检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
并行文件系统概述 什么是并行文件系统 并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件语义系统,旨在为基于对象存储服务作为统一数据湖存储的大数据场景提供解决方案。并行文件系统提供毫秒级别访问时延
上传对象(Harmony SDK) 功能说明 本章节介绍上传单个对象到指定桶中。 接口约束 您必须是桶拥有者或拥有上传对象的权限,才能上传对象。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:object:PutObject权限,如果使用桶策略则需授予PutObject
上传对象-断点续传上传(Go SDK) 功能说明 对分段上传的封装和加强,解决上传大文件时由于网络不稳定或程序崩溃导致上传失败的问题。其原理是将待上传的文件分成若干个分段分别上传,并实时地将每段上传结果统一记录在checkpoint文件中,仅当所有分段都上传成功时返回上传成功的结果
复制对象(Go SDK) 功能说明 用户可以根据需要将存储在OBS上的对象复制到其他路径下。复制对象操作将创建需要复制的对象的副本。在单次操作中,您可以创建最大5GB的对象副本。 为指定桶中的对象创建一个副本。 接口约束 您必须是桶拥有者或拥有复制对象的权限,才能复制对象。建议使用
产品优势 OBS与自建存储服务器对比 在信息时代,企业数据直线增长,自建存储服务器存在诸多劣势,已无法满足企业日益强烈的存储需求。表1向您详细展示了OBS与自建存储服务器的优劣势对比。 表1 OBS与自建存储服务器对比 对比项 OBS 自建存储服务器 数据存储量 提供海量的存储服务
多段上传 使用场景 多段上传允许将单个对象作为一组段分别上传。每个段都是对象数据的连续部分。您可以独立上传以及按任意顺序上传这些对象的段。如果其中某个段传输失败,可以重新传输该段且不会影响其他段。当对象的所有段都上传后,OBS将这些段合并起来,然后创建对象。 一般而言,如果您的对象大小达到了
我可以修改对象名称吗? 可以。如果调用接口遇到错误,请参见错误码。 重命名桶中对象 OBS客户端(OBS Browser+)支持重命名桶中对象,您可以对单个对象重命名。 重命名的具体方法如下: 登录OBS Browser+。 如果未安装OBS Browser+,请先下载并安装。 在对象存储桶列表中
匿名用户通过URL访问对象 将对象权限设置为匿名用户读取权限,通过分享对象URL,匿名用户通过分享的链接地址可访问对象数据。 前提条件 已经设置匿名用户对该对象的读取权限。 权限开启方法请参见对所有账号授予指定对象的读权限。 不能对已加密的对象进行共享。 操作步骤 在OBS管理控制台左侧导航栏选择
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。 填写训练作业相关参数信息
修改对象元数据(Python SDK) 功能说明 元数据(Metadata)为描述对象属性的信息,是一组名称值对,用作对象管理的一部分。 当前仅支持系统定义的元数据。 系统定义的元数据又分为两种类别:系统控制和用户控制。如Last-Modified日期等数据由系统控制,不可修改;如为对象配置的
创建工作流 功能介绍 本接口用于直接创建Data+工作流。 请求消息样式 POST /v2/workflows/{graph_name}?x-workflow-create HTTP/1.1 Host: obs.cn-north-4.myhuaweicloud.com Authorization
创建文件夹 使用场景 您可以在已创建的桶中新建一个文件夹,从而更方便的对存储在OBS中的数据进行分类管理。 由于OBS是一种对象存储服务,并没有文件系统中的文件和文件夹概念。为了使用户更方便进行管理数据,OBS提供了一种方式模拟文件夹。实际上在OBS内部是通过在对象的名称中增加“/
列举并行文件系统(Java SDK) 功能说明 并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算
对IAM用户组授予OBS指定资源的指定操作权限 场景介绍 本案例介绍如何为华为云账号下的多个IAM用户或用户群组授予OBS指定资源的指定操作权限,资源可以具体到某个桶或对象。 推荐配置方法 IAM自定义策略 配置须知 按照本案例配置后,可以正常通过API或SDK完成权限所允许的操作
如何购买对象存储服务? 对象存储服务提供按需计费和包年包月两种计费模式。用户可以根据实际需求购买OBS服务。 OBS开通时,默认按照按需计费(使用量按小时计费),同时也支持包年包月(资源包)的方式提前购买使用额度和时长,获取更多的优惠。您可以单击“产品价格详情”查看计费标准。 前提条件
OBS签名机制概述 功能简介 客户端每次调用OBS API时,都需要在HTTP调用请求中携带签名信息,服务端会对收到的签名信息进行验证。签名验证的目的是: 对请求者进行身份验证,防止未授权用户访问。请求携带的签名包含用户相关信息,华为云会对请求者身份进行验证,只有已授权用户的密钥才能通过签名检查
上传段(Harmony SDK) 功能说明 初始化分段上传任务后,通过分段上传任务的ID,上传段到指定桶中。除了最后一段以外,其他段的大小范围是100KB~5GB;最后一段的大小范围是0~5GB。上传的段的编号也有范围限制,其范围是1~10000。 上传段时,除了指定上传ID,还必须指定段编号
上传段(Node.js SDK) 功能说明 初始化分段上传任务后,通过分段上传任务的ID,上传段到指定桶中。 上传段时,除了指定上传ID,还必须指定段编号。您可以选择1和10000之间的任意段编号。段编号在您正在上传的对象中唯一地标示了段及其位置。如果您使用之前上传的段的同一段编号上传新段
直读归档存储对象 使用场景 实际业务场景下,您可能有不通过恢复而直接获取归档数据的诉求。如有时间要求,需要急速读取归档数据;或者在OBS与其他系统对接的情况下,因接口兼容问题,需要直接读取归档数据。 桶开启归档数据直读后,存储类别为归档存储的对象可以直接访问,无需提前恢复。开启直读后
复制段(Harmony SDK) 功能说明 初始化分段上传任务后,通过分段上传任务的ID,复制段到指定桶中。 多段上传任务创建后,用户可以通过指定多段上传任务号,为特定的任务上传段。添加段的方式还包括调用段复制接口。允许用户将已上传对象的一部分或全部复制为段。 将源对象object