检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练数据的读取要尽量读得快,减少计算对 I/O 的等待,而 Checkpoint主要要求高吞吐、减少训练中断的时间。 文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间
String 权限规格的id ip_cidr String 授权对象的IP地址或网段 rw_type String 授权对象的读写权限 rw:默认选项,以读写的方式共享 ro:以只读的方式共享 none: 没有权限 user_type String 授权对象的系统用户对文件系统的访问权限。取值如下:
chown:修改文件或目录的所有者 - chgrp:修改文件或目录的所属组 - ln:创建硬链接 - link:创建硬链接 - unlink:删除硬链接 本地挂载路径(即挂载点根目录)的atime、ctime和mtime属性是当前时间,每次查询根目录属性返回的都是服务端当时时间的值。 操作步骤
IAM用户若希望使用AK/SK访问SFS,必须要账号为其开启“编程访问”。开启方法请参见查看或修改IAM用户信息。 在调用接口的时候,需要使用AK/SK进行签名验证。AK/SK获取步骤如下: 登录控制台。 鼠标指向界面右上角的登录用户名,在下拉列表中单击“我的凭证”。 单击“管理访问密钥”。 在左侧导航栏单击“访问密钥”。
别空闲资源,寻找节约成本的机会。也可以根据成本分析阶段的分析结果识别成本偏高的资源,然后采取针对性的优化措施。 监控资源利用率,评估当前配置是否过高。 监控闲置的资源,避免浪费。 计费模式优化 不同类型的业务对资源使用周期有不同的要求,为每一类业务确定合适的计费模式,灵活组合以达到最优效果。
String 授权对象的读写权限 rw:默认选项,以读写的方式共享 ro:以只读的方式共享 none: 没有权限 user_type String 授权对象的系统用户对文件系统的访问权限。取值如下: no_root_squash:客户端使用的是root用户时,映射到NFS服务器的用户依然为root用户。
ostname[:port]。端口缺省时使用默认的端口,https的默认端口为443。 否 使用AK/SK认证时该字段必选。 code.test.com or code.test.com:443 Content-Type 消息体的类型(格式)。推荐用户使用默认值applicati
服务的访问控制 SFS Turbo对接了IAM服务,支持给企业中的员工设置不同的访问权限功能,以达到不同员工之间的权限隔离,用户可以通过IAM服务进行精细化的资源管控。详情请参见SFS Turbo的权限策略。 SFS Turbo支持通过IAM权限进行访问控制。 表1 SFS Turbo访问控制
网络类 是否支持跨VPC访问文件系统? 高性能弹性文件服务支持跨区域挂载吗? VPC的安全组是否影响高性能弹性文件服务的使用? 同时挂载至两个服务器的文件系统数据存在延时怎么办?
修改文件系统绑定的安全组 功能介绍 修改SFS Turbo文件系统绑定的安全组。修改安全组为异步任务,可以通过“查询单个文件系统”返回的子状态字段“sub_status”来判断是否修改安全组状态,子状态为“232”即为修改安全组成功。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API
挂载至两种服务器系统的文件系统无法写入数据 现象描述 当将同一个文件系统分别挂载到已创建的Linux云服务器和Windows云服务器后,在Windows云服务器上无法对在Linux云服务器上创建的文件写入数据。 可能原因 由于共享的NFS文件系统归属于root权限,且无法修改该所
作”列下的“监控”。 入口二:选择“管理与监管 > 云监控服务> 云服务监控 > 弹性文件服务Turbo EFS > 资源详情”,在文件系统列表中,单击待查看监控数据的文件系统“操作”列下的“查看监控指标”。 您可以选择监控指标项或者监控时间段,查看对应的SFS Turbo监控数据。
Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要运行一段时间,根据您的训练业务逻辑和选择的资源不同,训练时长将持续几十分钟
您可以在“费用中心 > 账单管理”查看资源的费用账单,以了解该资源在某个时间段的使用量和计费信息。 账单上报周期 包年/包月计费模式的资源完成支付后,会实时上报一条账单到计费系统进行结算。 按需计费模式的资源按照固定周期上报使用量到计费系统进行结算。按需计费模式产品根据使用量类型的不同,分为按小时
以root账号登录弹性云服务器。 给非root的普通用户添加root权限。 执行chmod 777 /etc/sudoers命令修改sudoers文件权限为可编辑权限。 使用which命令查看mount和umount命令的路径。 图1 查看命令路径 执行vi /etc/sudoers命令编辑sudoers文件。
支持文件系统挂载的操作系统 已通过兼容性测试的操作系统如表1所示。 表1 支持文件系统挂载的操作系统列表 类型 版本范围 CentOS CentOS 5,6,7 for x86 Debian Debian GNU/Linux 6,7,8,9 for x86 Oracle Oracle
享的网络资源,以提高网络安全。 说明: 请选择与您的云服务器相同的VPC,此时能达到最好的网络性能。您也可以通过虚拟私有云的VPC对等连接方式将两个或多个VPC互连,实现多VPC、跨VPC下的文件共享。 当跨VPC访问文件系统时,时延、带宽、IOPS会有较大的损耗,建议您优先采用同VPC访问。
挂载信息的字段说明如表 1 字段说明所示。 表1 字段说明 字段 说明 挂载地址 挂载对象,即要挂载的文件系统的挂载地址。设置为挂载NFS协议类型文件系统到云服务器(Linux)中mount命令中的挂载地址。 /local_path 挂载点,即云服务器上创建的挂载文件系统的目录。设
云服务器无法访问文件系统,提示被拒绝,导致该云服务器的所有业务异常。 可能原因 云服务器在强制umount之后,无法挂载。 定位思路 根据可能原因进行故障排查。 解决方法 云服务器在强制umount之后,无法重新挂载访问。 此问题是云服务器的缺陷,可以通过重启云服务器来解决。 重启云服务器后,查看是否能正常挂载和访问文件系统。
射到后端的一个IP,可能导致客户端与服务端的网络连接分布不均,从而无法充分利用服务端分布式集群能力。 当客户端数量较少时,如果希望最大限度地利用文件系统性能,一种有效的方法是为每个客户端指定一个不同的服务端IP地址进行挂载。通过这种方式,可以更均匀地分布客户端与服务端的网络连接,