检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
后台工程师能否导出我存储在OBS中的数据? 后台工程师无法导出用户数据。 访问桶或对象时,如果桶或对象未公开,只有桶或对象的拥有者才能够访问,访问时需要提供访问密钥(AK/SK)。 父主题: 数据安全、迁移和备份
上传文件或文件夹 上传文件操作可将本地文件或文件夹存储至OBS,对象的存储类别默认与桶的存储类别一致。 背景信息 OBS Browser+使用分段上传功能上传文件。通过分段上传功能,OBS Browser+支持上传最大为48.8TB的单个文件。 文件或文件夹名称长度不能超过102
Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用
下载文件或文件夹 用户可根据需要将存储在OBS上的文件或文件夹下载到本地。 操作步骤 登录OBS Browser+。 选中待配置的桶,选中需要下载的文件或文件夹后,单击“下载”。 OBS支持批量下载多个文件和文件夹,单击选中待下载的文件或文件夹即可。 对于存储类别为归档存储的桶中
都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量AccessKeyID和SecretAccessKey。 // 前端本身没有process对象,可以使用webp
交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 文件上传使用本地文件作为对象的数据源。 本示例用于上传本地“localfile”文件到桶名为“bucketname”里,名称为“objectname”的对象。 代码示例如下所示:
单击“上传”,系统弹出“上传对象”对话框,如图1所示。 您可以选择文件上传,详见4;也可以选择文件夹上传,详见5。 图1 上传对象 单击“选择文件”,打开本地浏览框。选择待上传文件后,单击“打开”。 您最多可同时选择500个文件或文件夹进行上传。 如果待上传至OBS的文件存放在Microsoft
单击域名左侧的,选择“证书”。 图1 导出证书 单击“详细信息 > 复制到文件”,根据向导提示获取OBS证书(obs.cer)。 将OBS证书导入客户端信任库。 以Java运行环境为例,需要将证书导入cacerts内。下面示例中“d:\obs.cer”为证书在本地的存放路径。 不同语言需要导
OBS将以镜像回源的方式去数据源站获取资源,将该资源上传到OBS中并返回给客户端。整个过程不中断业务,适用于客户源站无缝迁移数据到OBS,用户可以在无感知的情况下,低成本地迁移业务到OBS上来。镜像回源流程如图2所示。 图2 镜像回源流程 配置方法请参见创建镜像回源规则。 父主题:
指定用户的securitytoken。 相关操作 导出桶列表 在OBS管理控制台左侧导航栏选择“桶列表”。 全部导出:单击桶列表左上方的“导出”按钮。 图9 全部导出 选择导出:勾选需要导出的桶,单击列表左上方的“导出”按钮。 图10 选择导出 浏览器会自动下载桶列表Excel,其中包含本账号下所有桶的如下信息:
GET 请求服务器返回指定资源,如获取桶列表、下载对象等。 PUT 请求服务器更新指定资源,如创建桶、上传对象等。 POST 请求服务器新增资源或执行特殊操作,如初始化上传段任务、合并段等。 DELETE 请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器返回指定资源的概要,如获取对象元数据等。
)或英文句号(.)和中划线(-)相邻,禁止以英文句号(.)和中划线(-)开头或结尾。 禁止使用IP地址。 如果名称中包含英文句号(.),使用虚拟主机方式HTTPS访问OBS,会导致证书校验失败。 由于通过URL访问桶时,桶名会作为URL的一部分,根据DNS标准,URL不支持大写字母,
(包括公网和内网带宽一共16Gbit/s)。如果带宽达到该阈值,请求会触发流控。 如果用户购买的虚拟机网卡带宽低于16Gbit/s,那么节点带宽会先受虚机带宽限制,需要购买多台虚拟机并发运行才能达到16Gbit/s的带宽。 上传下载速率还受磁盘io及是否有其它进程抢占资源的影响。
错误码列表 错误码 描述 Obs.0000 网关或代理服务器验证失败,请输入正确的验证信息。 Obs.0001 服务端内部出错,请联系客服处理。 Obs.0002 网关或代理服务器出现错误,请联系客服处理。 Obs.0003 服务器繁忙,请稍后重试。 Obs.0004 请求的桶名已经
bucketpolicy obs://bucket -method=get -localfile=d:\temp\policy.json,指定导出桶bucket的桶策略至本地文件policy.json。 obsutil bucketpolicy obs://bucket -method=get -
客户端加密简介(Python SDK) 客户端加密是指在传输数据前,使用您选择的加密方法与加密信息,在本地进行数据加密,再将加密后结果发送至 OBS 服务器,同时将加密方法与解密所需的必要辅助信息存储到对象元数据中。在下载时 OBS SDK 会依据您提供的密钥与存储在对象元数据中
作为对象存储服务的子产品,并行文件系统支持用户按照标准的OBS接口读取数据。也支持通过部署在弹性云服务器中的PFS客户端(obsfs工具),按照POSIX文件语义读写数据;通过obsfs用户可以将创建的并行文件系统挂载到云端Linux服务器上,并能像操作本地文件系统一样对并行文件系统内的文件和目录进行在线处理,包括
文件至应用服务器,再由应用服务器上传至OBS,数据需要在应用服务器中转,传输效率较低,且多任务同时上传时应用服务器压力大。 本文介绍一种在Web端利用PostObject接口直传文件至OBS的方法,即使用表单上传方式上传文件至OBS。如图1所示,该方案省去了应用服务器这一步骤,提
在文件系统列表中,单击创建的HPC型文件系统名称,进入文件系统详情页面。 在“基本信息”页签,设置冷数据淘汰时间。 图1 设置冷数据淘汰时间 只有已经导出到OBS且满足淘汰时间的数据才会被淘汰。 父主题: 基本配置
文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI 生态中非常流行