检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
后台工程师能否导出我存储在OBS中的数据? 后台工程师无法导出用户数据。 访问桶或对象时,如果桶或对象未公开,只有桶或对象的拥有者才能够访问,访问时需要提供访问密钥(AK/SK)。 父主题: 数据安全、迁移和备份
Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用
文件夹中,然后使用“添加文件夹”功能进行上传。 如果上传文件时弹出“Service Unavailable”的错误提示,则可能是因为当前服务器繁忙,请稍后重试。 如果上传文件或文件夹时弹出拒绝访问的错误提示,则有可能是如下几种情况导致的: 通过桶的ACL设置功能,限制了该桶的访问权限(如:该用户无桶的写入权限)。
GET 请求服务器返回指定资源,如获取桶列表、下载对象等。 PUT 请求服务器更新指定资源,如创建桶、上传对象等。 POST 请求服务器新增资源或执行特殊操作,如初始化上传段任务、合并段等。 DELETE 请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器返回指定资源的概要,如获取对象元数据等。
OBS将以镜像回源的方式去数据源站获取资源,将该资源上传到OBS中并返回给客户端。整个过程不中断业务,适用于客户源站无缝迁移数据到OBS,用户可以在无感知的情况下,低成本地迁移业务到OBS上来。镜像回源流程如图2所示。 图2 镜像回源流程 配置方法请参见创建镜像回源规则。 父主题:
指定用户的securitytoken。 相关操作 导出桶列表 在OBS管理控制台左侧导航栏选择“桶列表”。 全部导出:单击桶列表左上方的“导出”按钮。 图9 全部导出 选择导出:勾选需要导出的桶,单击列表左上方的“导出”按钮。 图10 选择导出 浏览器会自动下载桶列表Excel,其中包含本账号下所有桶的如下信息:
获取OBS证书(以Chrome浏览器为例)。 在浏览器中访问OBS域名:https://obs.myhuaweicloud.com。 单击域名左侧的,选择“证书”。 图1 导出证书 单击“详细信息 > 复制到文件”,根据向导提示获取OBS证书(obs.cer)。 将OBS证书导入客户端信任库。 以Java运行环境
选择需要查看的时间,统计维度默认“按使用量”。 在筛选条件中选择“资源ID”,并输入步骤2中复制的桶名,单击图标即可搜索该桶的账单。 图1 明细账单 可以单击列表右侧的导出详细账单进行查看。 账单使用量类型与计费项对照关系 目前费用中心对象存储服务账单中的使用量类型与OBS计费说明中的计费项存在不一致的情况。
客户端加密简介(Python SDK) 客户端加密是指在传输数据前,使用您选择的加密方法与加密信息,在本地进行数据加密,再将加密后结果发送至 OBS 服务器,同时将加密方法与解密所需的必要辅助信息存储到对象元数据中。在下载时 OBS SDK 会依据您提供的密钥与存储在对象元数据中的解密辅助信息进行数据解密,直接返回解密后结果。
(包括公网和内网带宽一共16Gbit/s)。如果带宽达到该阈值,请求会触发流控。 如果用户购买的虚拟机网卡带宽低于16Gbit/s,那么节点带宽会先受虚机带宽限制,需要购买多台虚拟机并发运行才能达到16Gbit/s的带宽。 上传下载速率还受磁盘io及是否有其它进程抢占资源的影响。
内网DNS服务器地址。 nameserver 内网DNS服务器地址 内网DNS服务器地址:需要根据ECS所在区域选择内网DNS服务器地址,具体的地址信息请参见华为云提供的内网DNS服务器地址。 新增的DNS服务器地址必须位于所有原有的DNS服务器地址之前。 DNS服务器按照nam
回源流量包用于抵扣使用OBS作为华为云CDN加速域名源站时,CDN向源站OBS获取文件产生的回源流量费用。 公网流出流量包用于抵扣通过互联网从OBS下载数据到本地所产生的公网流出流量费用。 不同场景产生的流量类型如下: 用户在控制台执行对象下载和其他查询类操作(列举对象、获取桶或对象的元数据等),或
搬迁本地数据至OBS 背景 传统的自建存储服务器已不能满足大量的数据存储需求,主要原因可以归类为以下三点: 数据存储量受限于搭建服务器时使用的硬件设备,如果存储量不够,需要重新购买存储硬盘,进行人工扩容。 前期安装难、设备成本高、初始投资大、自建周期长、无法匹配快速变更的企业业务。
作为对象存储服务的子产品,并行文件系统支持用户按照标准的OBS接口读取数据。也支持通过部署在弹性云服务器中的PFS客户端(obsfs工具),按照POSIX文件语义读写数据;通过obsfs用户可以将创建的并行文件系统挂载到云端Linux服务器上,并能像操作本地文件系统一样对并行文件系统内的文件和目录进行在线
单击“编辑”可按照需求通过勾选相应权限对拥有者、匿名用户以及其他账号赋予目标对象的ACL权限。 不能对已加密的对象设置注册用户和匿名用户的ACL权限。 单击“导出”,可导出对象ACLs权限信息,包含用户类型、账号、对象访问权限和ACL访问权限。 单击“增加”,可对特定账号添加ACL权限。 输入特定账号的“
文件至应用服务器,再由应用服务器上传至OBS,数据需要在应用服务器中转,传输效率较低,且多任务同时上传时应用服务器压力大。 本文介绍一种在Web端利用PostObject接口直传文件至OBS的方法,即使用表单上传方式上传文件至OBS。如图1所示,该方案省去了应用服务器这一步骤,提
您可通过查询联动任务详情接口查看导入任务的完成状态。 如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联动来做数据导入导出,您可借助外部工具将数据从OBS迁移到SFS Turbo中,操作指导请参考OBS和SFS之间的数据迁移,推荐使用obsutil工具。 父主题: 训练
bucketpolicy obs://bucket -method=get -localfile=d:\temp\policy.json,指定导出桶bucket的桶策略至本地文件policy.json。 obsutil bucketpolicy obs://bucket -method=get -
文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI 生态中非常流行
在文件系统列表中,单击创建的HPC型文件系统名称,进入文件系统详情页面。 在“基本信息”页签,设置冷数据淘汰时间。 图1 设置冷数据淘汰时间 只有已经导出到OBS且满足淘汰时间的数据才会被淘汰。 父主题: 基本配置