检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
此时,可以通过在ECS上搭建Nginx反向代理服务器,来实现通过固定IP地址访问OBS。 方案架构 本实践将Nginx部署在ECS上,搭建Nginx反向代理服务器。用户对代理无感知,只需要将请求发送到反向代理服务器,然后由反向代理服务器向OBS获取数据,再返回给用户。反向代理服务器和OBS
0267元=0.0597元 转换后存储费用=21天1GB的单AZ低频存储费用+21天1GB的单AZ归档存储费用+1GB低频访问存储提前删除或转换费用=0.0533元+0.022元+0.0533元=0.1286元 7月总存储费用=转换前存储费用+转换后存储费用+临时文件存储费用(10天0.1GB单AZ标准存储费用)=0
删除桶的默认服务端加密配置信息。 设置桶归档存储对象直读策略 开启或关闭桶的归档存储对象直读功能。开启后,归档存储对象不需要恢复便可以直接下载。 获取桶归档存储对象直读策略 获取指定桶的归档存储对象直读状态。 删除桶归档存储对象直读策略 删除指定桶的归档存储对象直读配置信息。 设置镜像回源规则
创建VPC:创建1个虚拟私有云和子网。 创建SFS Turbo HPC型文件系统:创建1个SFS Turbo文件系统,文件系统类型选择“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 创建OBS桶:创建1个OBS桶,存储类别为“标准存储”,桶策略为“私有”。
将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS
月时间。 专属资源部署和分配完成后,表示订单完成。 您可以登录华为云控制台,使用专属对象存储。也可以在专属对象存储页面查看“专属对象存储池”的存储类别、到期时间和存储空间使用率。 专属对象存储的购买时长,从订单完成时开始计算。 父主题: 计费相关
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
用于抵扣多AZ并行文件系统产生的标准存储数据容量费用。 只适用于多AZ并行文件系统产生的标准存储数据容量计费,且只能用于资源包所属区域。 归档存储包 用于抵扣归档存储类别的数据存储容量费用。 只能用于资源包所属区域。归档存储数据均以单AZ模式存储。 公网流出流量包 用于抵扣通过互联网从并行
定。 OBS的使用涉及以下几项费用: 存储费用:静态网站文件存储在OBS中产生的存储费用。 请求费用:用户访问OBS中存储的静态网站文件时产生的请求费用。 流量费用:用户使用自定义域名通过公网访问OBS时产生的流量费用。 实际产生的费用与存储的文件大小、用户访问所产生的请求次数和
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS
libfuse安装指导 本章节以安装libfuse 2.9.7为例,详细介绍在CentOS 7、SUSE 12以及Ubuntu 16的操作。 前提条件 下载libfuse源码,并编译生成libfuse.so.2.9.7。 libfuse下载地址:https://github.co
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
分类描述 1XX 信息,服务器收到请求,需要请求者继续执行操作,一般对客户调用函数不可见。 2XX 成功,操作被成功接收并处理。 3XX 重定向,需要进一步的操作以完成请求。 4XX 客户端错误,请求包含语法错误或无法完成请求。 5XX 服务器错误,服务器在处理请求的过程中发生了错误
我可以在OBS中存储多少数据? OBS系统和单个桶都没有总数据容量和对象/文件数量的限制,但对于单次上传对象的大小有如下限制: OBS管理控制台支持批量上传文件,单次最多支持100个文件同时上传,总大小不超过5GB。如果只上传1个文件,则这个文件最大为5GB。 OBS Brows
设置桶访问权限为公共读,默认是私有读写 'ACL' => ObsClient::AclPublicRead, // 设置桶的存储类型为标准存储类型 'StorageClass' => ObsClient::StorageClassStandard,
状态码 服务器向用户返回的状态码和提示信息如表1所示: 表1 状态码 状态码 说明 2xx 服务器成功返回用户请求的数据。 4xx 客户端发出的请求有错误,服务器没有进行新建或修改数据的操作。 5xx 服务器发生错误,用户将无法判断发出的请求是否成功。 注:请使用符合https://www
API 桶的基础操作 桶的高级配置 静态网站托管 对象操作 多段操作 服务端加密 Data+
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS Turbo文件系统,文件系统类型选择“HPC型”,操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶,存储类别为“标准存储”,桶策略为“私有”,操作指导请参考创建OBS桶。
如何永久分享文件或文件夹 通过OBS Browser+工具可以实现分享文件或分享文件夹,通过该方式生成的分享链接中都包含链接的有效时间,超过有效期后即无法通过该链接继续访问。 永久分享文件:可通过将对象权限设置为匿名用户读取权限,通过获取对象URL,匿名用户通过该URL地址访问对象数据。