检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新从OBS中加载文件数据内容。 登录SFS管理控制台。 在文件系统列表中,单击创建的HPC型文件系统名称,进入文件系统详情页面。 在“基本信息”页签,设置冷数据淘汰时间。 图1 设置冷数据淘汰时间 只有已经导出到OBS且满足淘汰时间的数据才会被淘汰。 父主题: 基本配置
这些VPC互通,则实际上不同的VPC便处于同一个网络中,归属于这些VPC下的云服务器也能共享访问同一个文件系统。更多关于VPC对等连接功能信息请参见VPC对等连接 父主题: 网络类
请求Header参数 参数 是否必选 参数类型 描述 Date 是 String 请求消息时间 Authorization 是 String 请求签名信息 Host 是 String 表明主机地址。如filesystem.sfs3.cn-north-4.myhuaweicloud.com。 响应参数
请求Body参数 参数 是否必选 参数类型 描述 rules 是 Array of OnePermRuleRequestInfo objects 权限信息,一次最多允许添加5条规则 表4 OnePermRuleRequestInfo 参数 是否必选 参数类型 描述 ip_cidr 否 String
CentOS系统为例说明: 在官网下载fio。 yum install fio 安装libaio引擎。 yum install libaio-devel 查看fio版本。 fio --version 通用测试配置样例 以下提供的预估值为单台弹性云服务器ECS测试的结果。建议使用多台ECS测试,以达到弹性文件服务的性能指标。
rch默认会通过文件接口访问数据,AI算法开发人员也习惯使用文件接口,因此文件接口是最友好的共享存储访问方式。 如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。 方案架构 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS
延。 生物科学:要求参与大数据计算的文件系统高带宽、高存储且易于扩展。 对生物基因数据进行测序、拼接、比对等处理,提供基因组信息以及相关数据系统的生物信息学领域。 进行大规模分子动力学模拟来分析和验证蛋白质在分子和原子水平上的变化的分子动力学模拟领域。 快速地完成高通量药物虚拟筛
登录管理控制台,选择“弹性文件服务”。 左侧导航栏选择“通用文件系统”,跳转到通用文件系统控制台。 在文件系统列表中,单击文件系统名称进入文件系统基本信息页面。 在“生命周期管理”页签,单击“创建规则”,系统弹出如图2所示对话框。 图1 生命周期管理页面 图2 创建生命周期规则 配置生命周期规则。
加载checkpoint流程 安装AITurbo SDK 请联系技术支持获取AITurbo的安装包aiturbo_xxx.whl(xxx为AITurbo组件信息及版本号信息),并上传到环境。 安装AITurbo依赖包。 AITurbo依赖rpyc,setproctitle,PyYAML,pathlib2
成类型为“按需转包年/包月”的订单。用户支付订单后,按需转包年/包月的文件系统立即生效。在“费用中心 > 账单管理”页面将生成如下三条账单信息: 按需:2023/04/18 15:00:00 ~ 2023/04/18 16:00:00,在15:29:16 ~ 16:00:00间产生费用
请求Header参数 参数 是否必选 参数类型 描述 Date 是 String 请求消息时间 Authorization 是 String 请求签名信息 Host 是 String 表明主机地址。如filesystem.sfs3.cn-north-4.myhuaweicloud.com。 响应参数
URI PUT / 请求参数 表1 请求Header参数 参数 是否必选 参数类型 描述 Authorization 是 String 签名信息 Date 是 String 请求时间 x-obs-bucket-type 是 String 通过此消息头明确创建文件系统。 取值: SFS:创建文件系统。
请求Header参数 参数 是否必选 参数类型 描述 Date 是 String 请求消息时间 Authorization 是 String 请求签名信息 Host 是 String 表明主机地址。如filesystem.sfs3.cn-north-4.myhuaweicloud.com。 表3
CentOS系统为例说明: 在官网下载fio。 yum install fio 安装libaio引擎。 yum install libaio-devel 查看fio版本。 fio --version 文件系统性能数据 SFS Turbo文件系统的性能主要有IOPS和吞吐量等指标,具体各指标数据参见表1。
AK/SK签名认证方式仅支持消息体大小在12MB以内,12MB以上的请求请使用Token认证。 AK/SK认证就是使用AK/SK对请求进行签名,在请求时将签名信息添加到消息头,从而通过身份认证。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。
root_squash:root用户访问时权限降为nobody。 no_root_squash:包括root用户在内的任何用户访问时权限都不会降为nobody。 确认授权地址信息,单击“确定”。 相关操作 您可以单击权限列表操作列的“编辑”按钮修改读写权限和用户权限,或者单击“删除”按钮删除授权地址。 父主题: SFS
String 文件系统描述信息,长度为0~255。当前不支持。 enterprise_project_id 否 String 创建文件系统时,给文件系统绑定的企业项目ID。 metadata 否 Metadata object 创建文件系统的metadata信息,一到多个字典形式组织的键值对组成。