检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
如果您需要多用户协同操作管理您账号下的资源,为了避免共享您的密码/访问密钥,您可以通过IAM创建用户,并授予用户对应权限。这些用户可以使用特别的登录链接和自己单独的用户账号访问公有云,帮助您高效的管理资源,您还可以设置账号安全策略确保这些账号的安全,从而降低您的企业信息安全风险。 如果您已注册公有云但尚未为
减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。 如果
软链接的形式。 --copy-links:复制源端软链接指向的文件内容,目的端变成文件的形式,不再是软链接。 --create-empty-src-dirs:复制源端的空目录到目的端。 等待数据完成同步后,可前往目标文件系统查看是否已成功迁移。 验证 登录已创建好的Linux系统云服务器。
您只需设置生命周期规则,通用文件系统会自动将符合生命周期规则的数据转储至低频存储,无须复杂、高风险的数据迁移操作。 成本低 低频存储相比普通文件存储的费用低。 低频存储的计费相关内容请详见计费项。 转换为低频存储的数据可正常访问 数据转储为低频存储后,文件系统的内容和结构保持不变,应用可正常访问这些数据,不需要修改应用或暂停业务。
SFS容量型资源包和SFS Turbo资源包是否通用? 不通用。 SFS容量型文件系统的资源包可以通过“购买SFS容量型资源包”来单独购买资源包。资源包不支持跨区域使用,购买前请仔细核对区域。 SFS Turbo类型的文件系统,除了在创建文件系统时购买资源包,还可以将按需计费的文件系统转为包周期计费。不支持单独购买资源包。
请使用合法的参数重试。 400 SFS.TURBO.0028 Invalid crypt key 指定的密钥无效 请使用合法的参数重试。 400 SFS.TURBO.0029 Subnet has not enough ips 子网可用IP不足 请使用合法的参数重试。 400 SFS.TURBO
Unauthorized 被请求的页面需要用户名和密码。 403 Forbidden 对被请求页面的访问被禁止。 404 Not Found 服务器无法找到被请求的页面。 405 Method Not Allowed 请求中指定的方法不被允许。 406 Not Acceptable 服务器生成的响应无法被客户端所接受。
如何购买弹性文件服务? 弹性文件服务默认为按需计费,即按购买的存储容量和时长收费。您也可以购买包年包月套餐,提前规划资源的使用额度和时长。在欠费时,您需要及时(15天之内)续费以避免您的文件系统资源被清空。 资源包的大小与文件系统的计算吞吐能力无关。 按需计费购买 注册云服务账号。 打开华为云网站www
incident:表示比操作失败更严重的情况,例如引起其他故障等。 企业项目ID:输入企业项目ID。 访问密钥ID:输入访问密钥ID(包含临时访问凭证和永久访问密钥)。 时间范围:可选择查询最近1小时、最近1天、最近1周的操作事件,也可以自定义最近7天内任意时间段的操作事件。 在事件列表页面
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
障之前的模型和优化器的状态继续训练。原生Pytorch系框架在保存checkpoint时均直接持久化到存储系统,耗时与模型大小、存储的IO性能等密切相关,往往需要几分钟到几十分钟不等,为了保证训练状态的一致性,保存checkpoint时训练必须暂停,保存时间影响了训练过程的整体效
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
实施步骤 创建文件系统本地目录 为每个用户创建有读写权限的子目录 父主题: 为文件系统创建普通用户可读写的子目录
已经完成云专线的购买和配置,详情请参考《云专线服务用户指南》。 已创建一台操作系统为Linux的云服务器。 已创建SFS Turbo文件系统,并获取到文件系统的挂载地址。 已经获取到本地NAS存储的挂载地址。 本地NAS和云服务器已完成互信关系建立。 资源规划 本章节介绍案例中使用的资源信息。具体如表1所示。
通过这些接口,可以查询所有API的版本和API版本的详细信息。 文件共享 通过这些接口,您可以创建共享,可获取共享的详细信息,如共享挂载路径等。 共享访问规则 通过这些接口,您可以添加和修改、删除共享的访问规则,如配置VPC等。 配额管理 如果创建共享的个数已经到达上限,您可以通过这些接口,对相关配额进行修改。
SFS容量型资源包和SFS Turbo资源包是否通用? 不通用。 SFS容量型文件系统的资源包可以通过“购买SFS容量型资源包”来单独购买资源包。资源包不支持跨区域使用,购买前请仔细核对区域。 SFS Turbo类型的文件系统,除了在创建文件系统时购买资源包,还可以将按需计费的文件系统转为包周期计费。不支持单独购买资源包。
MB以内,12MB以上的请求请使用Token认证。 AK/SK认证就是使用AK/SK对请求进行签名,在请求时将签名信息添加到消息头,从而通过身份认证。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。
其他类 如何从云服务器访问文件系统? 如何确认Linux云服务器上的文件系统处于可用状态? 弹性文件服务会占用用户的哪些资源? SFS容量型文件系统挂载后为什么容量显示为10P? 通用文件系统挂载后为什么会显示250TB? 如何在弹性文件服务SFS和对象存储服务OBS之间进行数据迁移?