检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
变更计费模式 变更计费模式概述 按需转包年/包月 包年/包月转按需
权限管理 创建IAM用户并授权使用SFS Turbo 自定义创建SFS Turbo文件系统策略 管理SFS Turbo文件系统权限
使用CES监控SFS Turbo文件系统 SFS Turbo监控指标说明 创建SFS Turbo告警规则 父主题: 监控与审计
典型应用举例 高性能计算 企业网站/APP后台 日志打印
性能调优 SFS Turbo性能测试 SFS Turbo时延测试 提升单客户端访问SFS Turbo的性能(Linux)
使用CTS审计SFS Turbo文件系统 支持审计的关键操作 查询SFS Turbo审计事件 父主题: 监控与审计
API请求的组成,并以调用IAM服务的获取用户Token来说明如何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987。 请求URI 请求URI由如下部分组成:
com/v3/auth/projects Content-Type: application/json X-Auth-Token: ABCDEFJ.... 您还可以通过这个视频教程了解如何使用Token认证:https://bbs.huaweicloud.com/videos/101333。 AK/SK认证 AK
管理服务配额 什么是配额? 为防止资源滥用,平台限定了各服务资源的配额,对用户的资源数量和容量做了限制。如您最多可以创建多少个文件系统。 如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 怎样查看我的配额? 登录管理控制台。 单击管理控制台左上角的,选择区域。 在页面右上角,选择“资源
Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts:AI开发平台,采用多机多卡分布式训练。 VPC:虚拟私有云和子网。 算法及数据:准备AI训练需要的算法及数据集,如Swin-Transformer算法,及ImageNet21K数据集。
工作负荷下低时延的需求。 某生物平台需要软件进行大量的基因测序,但业务处理步骤多,业务部署慢,流程复杂,效率低,易出错,所以自建集群跟不上业务发展。但自从使用了提供专业的高性能计算业务流程管理软件,依托云平台的海量计算资源和存储资源,充分结合云平台和高性能计算特点,大大降低初始投
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
的安全责任在于保障其所提供的 IaaS、PaaS 和 SaaS 类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责云服务内部的安全,安全地使用云。
ion programming interface)管理方式或管理控制台方式均可访问高性能弹性文件服务。 API方式 如果用户需要将云服务平台上的高性能弹性文件服务集成到第三方系统,用于二次开发,请使用API方式访问高性能弹性文件服务,具体操作请参见《高性能弹性文件服务API参考》。
文件系统加密 扩容 用户可以通过执行扩容操作来增加文件系统的容量。 支持区域: 全部 扩容文件系统 监控 云监控服务为用户提供一个针对资源的立体化监控平台。通过云监控,您可以全面了解文件系统的使用情况、业务的运行状况,并及时收到异常告警做出反应,保证业务顺畅运行。 支持区域: 全部 SFS Turbo监控指标说明
API概览 通过配合使用高性能弹性文件服务所提供的接口和OpenStack原生接口,您可以完整的使用高性能弹性文件服务的所有功能。 当本文描述内容与上述开源社区的描述不一致时,请以本文描述为准。 生命周期管理接口 表1 生命周期管理接口 接口 说明 创建文件系统 该接口可以创建文件系统。
如何确认Linux云服务器上的SFS Turbo文件系统处于可用状态? 以root用户登录云服务器,执行“showmount -e 文件系统域名或IP”命令,回显如下内容,则代表命令中“文件系统域名或IP”对应的SFS Turbo文件系统处于可用状态。 Export list for