检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
创建SFS Turbo HPC型文件系统:创建1个SFS Turbo文件系统,文件系统类型选择“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 创建OBS桶:创建1个OBS桶,存储类别为“标准存储”,桶策略为“私有”。
对所有账号授予指定对象的读权限 场景介绍 某公司A使用OBS存储了大量全球各地的地图数据,这些数据需要对外开放供所有人查阅。
列举桶内对象返回的大小与控制台桶内对象大小不一致 通过obsutil列举桶内全量对象时最终输出结果中还会包含对象的总的大小,如果通过列举操作返回的对象大小与通过控制台、OBSBrowser+工具查询的桶使用情况不一致时可以从如下两点进行排查: OBSBrowser+和控制台均通过调用获取桶存量信息接口查询当前桶内对象个数及对象占用空间
单位:字节 ≥ 0 bytes 用户 桶 30分钟 capacity_standard_multi_az 标准存储多AZ用量 该指标用于统计标准存储多AZ存储数据所占用的存储空间容量。
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
设置桶存储类别(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。
标准存储拥有低访问时延和较高的吞吐量,适用于有大量热点对象(平均一个月多次)或小对象(<1MB),且需要频繁访问数据的业务场景。 ObsClient.enums.StorageClassWarm WARM 低频访问存储。
如果您还没有华为账号,请执行以下操作: 注册华为账号并开通华为云。 参考个人账号如何完成实名认证或企业账号如何完成实名认证,完成个人或企业账号实名认证。 为账号充值。 您需要确保账号有足够的余额,才能正常使用OBS等相关资源。请参考账户充值。
如果您还没有华为账号,请执行以下操作: 注册华为账号并开通华为云。 参考个人账号如何完成实名认证或企业账号如何完成实名认证,完成个人或企业账号实名认证。 为账号充值。 您需要确保账号有足够的余额,才能正常使用OBS等相关资源。请参考账户充值。
示例流程 图1 为IAM用户授权OBS资源权限 下面内容以配置IAM用户的对象存储服务“Tenant Guest”权限为例。 创建用户组并授权 在IAM控制台创建用户组,并授予对象存储服务“Tenant Guest”权限。
桶是OBS中存储对象的容器。您需要先创建一个桶,然后才能在OBS中存储数据。 华为云OBS控制台支持在创建桶时选择源桶,同步桶配置。
服务端加密 如果您的业务对数据存储的安全性和合规性有较高要求,可使用OBS提供的服务端加密功能,对上传到OBS存储的数据进行加密保护。服务器端加密是指OBS服务端对客户端上传到OBS的对象进行加密存储。在访问对象时,由OBS服务端对文件进行解密,然后向客户端返回解密后的数据。
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 接口约束 您必须是桶拥有者或拥有恢复归档存储对象的权限,才能恢复归档存储对象。
当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗?
如果您还没有华为账号,请执行以下操作: 注册华为账号并开通华为云。 参考个人账号如何完成实名认证或企业账号如何完成实名认证,完成个人或企业账号实名认证。 为账号充值。 您需要确保账号有足够的余额,才能正常使用OBS等相关资源。请参考账户充值。
如果您还没有华为账号,请执行以下操作: 注册华为账号并开通华为云。 参考个人账号如何完成实名认证或企业账号如何完成实名认证,完成个人或企业账号实名认证。 为账号充值。 您需要确保账号有足够的余额,才能正常使用OBS等相关资源。请参考账户充值。
如果您还没有华为账号,请执行以下操作: 注册华为账号并开通华为云。 参考个人账号如何完成实名认证或企业账号如何完成实名认证,完成个人或企业账号实名认证。 为账号充值。 您需要确保账号有足够的余额,才能正常使用OBS等相关资源。请参考账户充值。
如果您还没有华为账号,请执行以下操作: 注册华为账号并开通华为云。 参考个人账号如何完成实名认证或企业账号如何完成实名认证,完成个人或企业账号实名认证。 为账号充值。 您需要确保账号有足够的余额,才能正常使用OBS等相关资源。请参考账户充值。
如果您还没有华为账号,请执行以下操作: 注册华为账号并开通华为云。 参考个人账号如何完成实名认证或企业账号如何完成实名认证,完成个人或企业账号实名认证。 为账号充值。 您需要确保账号有足够的余额,才能正常使用OBS等相关资源。请参考账户充值。