检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过加密传输保护网络传输链路的数据安全 概述 加密传输功能可以通过TLS协议保护您的客户端与SFS Turbo服务之间网络传输链路上的数据安全。 加密传输涉及加解密流程,性能相比非加密传输会有部分下降。 加密挂载教程-Linux 安装stunnel。 stunnel是一个开源网络
Turbo性能测试 fio是一个开源的I/O压力测试工具,可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。 安装fio 以Linux
String 授权对象的读写权限 rw:默认选项,以读写的方式共享 ro:以只读的方式共享 none: 没有权限 user_type String 授权对象的系统用户对文件系统的访问权限。取值如下: no_root_squash:客户端使用的是root用户时,映射到NFS服务器的用户依然为root用户。
Turbo性能测试 fio是一个开源的I/O压力测试工具,可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。 安装fio 以Linux
如何在高性能弹性文件服务SFS Turbo和对象存储服务OBS之间进行数据迁移? 背景知识 对象存储服务OBS是华为云提供的稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据。 高性能弹性文件服务SFS Turbo是华为云提供的按需扩展的高性能文件存储
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
8端口的入规则。默认的源地址为0.0.0.0/0,用户后续可根据自己的实际情况,修改该地址。 如果创建加密的SFS Turbo文件系统,将会使用用户填写的kms密钥进行加密。注意,该密钥如果删除,该文件系统的数据将无法使用。 在往文件系统的文件夹写数据的过程中会占用服务器的运行内
射到后端的一个IP,可能导致客户端与服务端的网络连接分布不均,从而无法充分利用服务端分布式集群能力。 当客户端数量较少时,如果希望最大限度地利用文件系统性能,一种有效的方法是为每个客户端指定一个不同的服务端IP地址进行挂载。通过这种方式,可以更均匀地分布客户端与服务端的网络连接,
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
HPC型是按每TB单位容量来提供一定的带宽吞吐,因此当SFS Turbo HPC性能不足时,需要通过容量扩容来提高性能吞吐。 OBS性能监控 您可以在CES云监控服务上监控SFS Turbo关联的OBS桶的性能使用情况,SFS Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽上限Qo
Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要运行一段时间,根据您的训练业务逻辑和选择的资源不同,训练时长将持续几十分钟
SFS Turbo文件系统中的数据可以跨区域迁移吗? 文件系统中的数据支持跨区域迁移,具体操作请参见数据迁移。 父主题: SFS Turbo迁移类问题
过指定IP的方式跨区域(Region)挂载,网络互通方式具体参考云连接CC“跨区域VPC互通”。 本地挂载路径(即挂载点根目录)的atime、ctime和mtime属性是当前时间,每次查询根目录属性返回的都是服务端当时时间的值。 暂不支持修改本地挂载路径(即挂载点)的元数据,即不支持对挂载点的元数据做如下操作:
Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。 登录SFS管理控制台。 在文件系统列表中,单击创建的HPC型文件系统名称,进入文件系统详情页面。
训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。 如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联动来做数据
String 用户指定的子网的网络ID。 vpc_id String 用户指定的VPC ID。 enterprise_project_id String SFS Turbo文件系统绑定的企业项目ID。 tags Array of ResourceTag objects tag标签的列表。 optional_endpoint
project_id 是 String 操作用户的项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Long 设置返回的文件系统个数的最大值,不填默认为1000个 offset 否 Long 设置返回的文件系统的偏移量。 请求参数 表3 请求Header参数
lookupcache是和目录项缓存相关的一个参数,这个参数的取值可以是all,none,pos或者positive。lookupcache=none表示客户端既不信任标记为positive的缓存,也不信任标记为negative的缓存,达到禁用缓存的效果。 解决方法 如果已挂载
如何确认Linux云服务器上的SFS Turbo文件系统处于可用状态? 以root用户登录云服务器,执行“showmount -e 文件系统域名或IP”命令,回显如下内容,则代表命令中“文件系统域名或IP”对应的SFS Turbo文件系统处于可用状态。 Export list for
Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影