检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Storage Service)常见应用场景的操作实践,为每个实践提供详细的方案描述和操作指导,帮助用户轻松构建基于OBS的存储业务。 表1 OBS最佳实践一览表 最佳实践 说明 面向AI场景使用OBS+SFS Turbo的存储加速实践 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS
可以只使用SFS Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS为容量型存储,
使用IE浏览器访问带有中文字符的对象URL地址报错如何处理? 问题描述 使用IE浏览器访问带有中文字符的对象URL地址,报HTTP 400错误。 处理思路 IE浏览器默认不是使用UTF-8发送查询字符串,修改IE浏览器的默认配置可以解决此问题。 处理步骤 打开IE浏览器(以IE 11为例)。
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
读取ACL配置的权限。 如果有读ACP的权限,则可以获取对应的桶或对象的权限控制列表(ACL)。 桶或对象的所有者永远拥有读对应桶或对象ACP的权限。 WRITE_ACP 修改ACL配置的权限。 如果有写ACP的权限,则可以更新对应桶或对象的权限控制列表(ACL)。 桶或对象的所有者永远拥有写对应桶或对象的ACP的权限。
READ_ACP 读取ACL配置的权限。 如果有读ACP的权限,则可以获取对应的桶或对象的权限控制列表(ACL)。 桶或对象的所有者永远拥有读对应桶或对象ACP的权限。 PERMISSION_WRITE_ACP WRITE_ACP 修改ACL配置的权限。 如果有写ACP的权限,则可以更新对应桶或对象的权限控制列表(ACL)。
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
件文系统的容量。 在弹出对话框中确认容量调整信息后,单击“是”。 在文件系统列表中查看文件系统调整后的容量信息。 OBS性能监控 您可以在CES云监控服务上监控SFS Turbo关联的OBS桶的性能使用情况,SFS Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽
OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts:AI开发平台,采用多机多卡分布式训练。
READ_ACP 读取ACL配置的权限。 如果有读ACP的权限,则可以获取对应的桶或对象的权限控制列表(ACL)。 桶或对象的所有者永远拥有读对应桶或对象ACP的权限。 PERMISSION_WRITE_ACP WRITE_ACP 修改ACL配置的权限。 如果有写ACP的权限,则可以更新对应桶或对象的权限控制列表(ACL)。
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私有云可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
在ECS上可以通过公网和华为云内网两种网络访问OBS。当有存取对象数据的需求时,公网方式响应速度会因为网络质量而受到影响,读取数据还将收取一定的流量费用。为最大化的优化性能、节省开支,企业管理者希望通过内网的方式访问OBS。 当通过内网访问OBS时,需要确保待访问的OBS资源与
Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 图1 创建训练作业参数 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要运行一段时间,根据您的训练业务逻辑和选择的资源不同,训练时长将
HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击创建资源中创建的HPC型文件系统,进入文件系统详情页面。 进入页
Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。 登录SFS管理控制台。 在文件系统列表中,单击创建的HPC型文件系统名称,进入文件系统详情页面。
21K数据集至OBS,详细操作指导请参考上传数据至OBS。 OBS针对不同场景提供了多种数据上云方案,您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定O
当您使用图片处理功能时,对象存储服务OBS会收取相应的费用。 计费说明 资费项 计费项 含义 适用的计费模式 数据处理费用 图片处理 被处理的原图片的实际大小。 具体请参见图片处理如何收费? 按需计费 产品定价 详细的服务资费费率标准请参见产品价格详情中“对象存储服务”的内容。 计费示例
OBS服务端返回的请求ID。 VersionId string 参数解释: 对象的版本号。如果桶的多版本状态为开启,则会返回对象的版本号。 ETag string 参数解释: 对象的ETag值,即base64编码的128位MD5摘要。ETag是对象内容的唯一标识,可以通过该值识别对象内容