检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。 登录SFS管理控制台。 在文件系统列表中,单击创建的HPC型文件系统名称,进入文件系统详情页面。 在“基本信息”页签,设置冷数据淘汰时间。 图1
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”。 配置调用SFS Turbo接口的自定义策略: 单击右上角的“创建自定义策略”,进入自定义策略配置页面。
Turbo HPC型文件系统存储空间被写满,会影响业务运行,您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况,并创建告警规则,当容量使用率超过一定阈值,可以发送邮件、短信等告警到运维人员。当收到容量监控告警时,您需要及时清理SFS Turbo存储空间、或缩短
签名计算工具 SFS提供可视化签名计算工具,帮助您轻松完成签名计算。 表1 签名计算工具 签名计算方式 签名计算工具获取地址 Header中携带签名 可视化签名计算工具 若调用SFS API报如下错误: 状态码:403 Forbidden 错误码:SignatureDoesNotMatch
卸载文件系统 当文件系统不再使用需要删除时,建议您先卸载已挂载的文件系统后再删除。 前提条件 卸载文件系统前建议先终止进程和停止读写再卸载。 Linux系统 登录弹性云服务器。 执行以下命令。 umount 本地路径 本地路径:云服务器上用于挂载文件系统的本地路径,例如“/local_path”。
文件系统自动断开挂载 问题描述 文件系统与服务器的连接断开,需要重新挂载。 可能原因 没有配置自动挂载,重启服务器后会自动断开。 解决方法 参考自动挂载文件系统,在云服务器设置重启时进行自动挂载。 提交工单 如果上述方法均不能解决您的疑问,请提交工单寻求更多帮助。
方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影响,默认是16Gbit/s,如果大模型训练生成的Che
ECS归属到已创建的VPC下。 如果无ECS,可参考《弹性云服务器快速入门》中的“购买弹性云服务器”章节购买ECS。 操作步骤 登录华为云控制台。 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 选择“网络 > VPC终端节点 > 终端节点”。 在“终端节点”页面,单击“购买终端节点”。
the directory 获取目录使用容量失败 请重新获取目录使用容量,如果问题无法解决请及时联系技术支持 400 SFS.TURBO.0037 Operation conflict, client retry 操作冲突,客户端重试 请使用合法的操作 400 SFS.TURBO
产品基本概念 使用之前,请先了解以下相关概念,从而更好的使用弹性文件服务。 NFS NFS(Network File System),即网络文件系统。一种使用于分散式文件系统的协议,通过网络让不同的机器、不同的操作系统能够彼此分享数据。 Linux系统建议使用NFS协议类型的文件系统。
添加普通用户Tom成功后,再在root的本地目录下使用以下命令为普通用户Tom创建子目录。 由创建文件系统本地目录章节的步骤4可知root的本地目录为root001,使用以下命令为普通用户Tom创建子目录Tom。其中root001需替换为实际的本地目录。 mkdir /root/root001/Tom 使用以下命
容量型 存储空间 根据文件系统所使用的存储容量和使用时长计费 存储费用=每GB费率*使用容量*使用时长 按需计费 包年包月 低频型 存储空间 根据文件系统所使用的存储容量和使用时长计费 存储费用=每GB费率*使用容量*使用时长 说明: 在计算低频型通用文件系统时,系统预设的生命周期规
用户root权限 设置是否允许客户端的root权限。默认为“no_root_squash”。 root_squash:不允许客户端以root用户访问,客户端使用root用户访问时映射为nobody用户。 no_root_squash:允许客户端以root用户访问,root用户具有根目录的完全控制访问权限。
yum install stunnel 推荐使用Stunnel版本为5.56或以上。 选取未被占用的端口作为本地监听端口。 如下示例,执行如下命令查看本地已被占用的端口: netstat -anp | grep 127.0.0.1 图1 本地已被占用端口 由于20049已被占用,所以
性云服务器(Elastic Cloud Server, ECS)提供文件共享服务。弹性文件服务提供标准的文件访问协议,用户可以将现有应用和工具与弹性文件服务无缝集成。 弹性文件服务提供简单易用的操作界面,用户可以快捷地创建和管理文件系统,无需操心文件系统的部署、扩展和优化等运维事务。
ame[:port]。端口缺省时使用默认的端口,https的默认端口为443。 否 使用AK/SK认证时该字段必选。 code.test.com or code.test.com:443 Content-Type 消息体的类型(格式)。推荐用户使用默认值application/j
件系统时规划好合适的区域,或者可以将数据复制至本地后再传至另一区域。 SFS Turbo文件系统可以使用云备份进行备份数据,再使用备份复制的功能,将备份副本复制至另一区域再创建一个与原区域数据一致的SFS Turbo文件系统进行使用。 父主题: 限制类
NFS(Network File System),即网络文件系统。一种使用于分散式文件系统的协议,通过网络让不同的机器、不同的操作系统能够彼此分享数据。多台ECS安装NFS客户端后,挂载文件系统,即可实现ECS间的文件共享。Linux客户端建议使用NFS协议。 删除子网 支持区域: 全部 挂载NFS文件系统到云服务器(Linux)