检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果您需要对您所拥有的SFS进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果华为账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用SFS服务的其它功能。 默认情况下,新建的IAM用户没有任何权限,您
不等。在训练过程中,故障导致训练中断经常发生。训练程序一般采用周期checkpoint方案来将训练状态持久化到存储,当发生故障时,训练程序能恢复到故障之前的模型和优化器的状态继续训练。原生Pytorch系框架在保存checkpoint时均直接持久化到存储系统,耗时与模型大小、存储
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
配置ModelArts网络关联SFS Turbo。 配置SFS Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。 配置SFS Turbo数据淘汰策略。 4 训练 上传数据至OBS并预热到SFS Turbo中。 创建训练任务。 5 例行运维 使用OBS+SFS Turbo
如何在弹性文件服务SFS和对象存储服务OBS之间进行数据迁移? 弹性文件服务支持多可用区吗? 可以将SFS容量型文件系统升级为SFS Turbo文件系统吗? 可以将SFS Turbo标准型升级为SFS Turbo标准型-增强版吗? 如何在弹性文件服务SFS和云硬盘EVS之间进行数据迁移? 可以直接从云下访问弹性文件服务吗?
Turbo联动目录下创建的文件,及之后对这些文件进行的元数据和数据修改,会被自动同步到OBS桶里。 CHANGED:表示修改数据,从OBS桶里导入到SFS Turbo联动目录下的文件,在SFS Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 DELETED:表示删除数据,在SFS Tur
Turbo联动目录下创建的文件,及之后对这些文件进行的元数据和数据修改,会被自动同步到OBS桶里。 CHANGED:表示修改数据,从OBS桶里导入到SFS Turbo联动目录下的文件,在SFS Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 DELETED:表示删除数据,在SFS Tur
文件系统存放数据已使用的空间。 说明: 该数据不是实时数据,平均15分钟刷新一次。SFS容量型文件系统已用容量小于1MB时,将不会显示已用容量。 最大容量(GB) 文件系统的最大使用容量。 已上传文件数 文件系统内已上传的文件数量。 说明: 通用文件系统展示该字段。 该数据不是实时数据,平均15分钟刷新一次。
如果创建加密的SFS Turbo文件系统,将会使用用户填写的kms密钥进行加密。注意,该密钥如果删除,该文件系统的数据将无法使用。 在往文件系统的文件夹写数据的过程中会占用服务器的运行内存,但不会占用服务器磁盘的存储空间,文件系统使用的是独立空间。 父主题: 其他类
Turbo联动目录下创建的文件,及之后对这些文件进行的元数据和数据修改,会被自动同步到OBS桶里。 CHANGED:表示修改数据,从OBS桶里导入到SFS Turbo联动目录下的文件,在SFS Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 DELETED:表示删除数据,在SFS Tur
如何发挥SFS Turbo文件系统的最大性能? SFS Turbo文件系统提供了多个IP地址(具体数量参考控制台上可选挂载点)供用户进行挂载,且每个IP地址均可以被多个客户端挂载。 在使用NFS/CIFS协议访问文件系统时,每个客户端仅能与一个服务端节点建立网络连接。在使用域名挂
ReqUpdateHpcCacheData 参数 是否必选 参数类型 描述 gc_time 是 Long 冷数据淘汰时间。单位:小时。指定时间内线上缓存的数据如果没有被访问则会自动从缓存中删除。0表示数据不会因为时间原因自动从缓存中删除。 ck_time 是 Long 后端校验时间。单位:秒。指
VPC的安全组是否影响弹性文件服务的使用? 同时挂载至两个服务器的文件系统数据存在延时怎么办? 如何购买弹性文件服务? 如何查看资源包的使用量? 如何确认Linux云服务器上的文件系统处于可用状态? 如何在弹性文件服务SFS和对象存储服务OBS之间进行数据迁移? 更多 概念类 什么是弹性文件服务? 什么是SFS
性能随容量增加而提升,同时保障数据的高持久度,满足业务增长需求。 存储底层包含HDD和SSD两种存储介质;存储系统采用分布式存储架构,全模块架构冗余设计,无单一故障点。 无缝集成 弹性文件服务同时支持NFS和CIFS协议。通过标准协议访问数据,无缝适配主流应用程序进行数据读写。同时兼容SMB2
PC的云服务器也能共享访问同一个文件系统。具体操作请参见配置多VPC。 SFS Turbo文件系统:支持通过虚拟私有云的VPC对等连接功能,将同区域的两个或多个VPC互连以使这些VPC互通,则实际上不同的VPC便处于同一个网络中,归属于这些VPC下的云服务器也能共享访问同一个文件
字符串“share_used”。 以字符串“#sfs”开头。 metadata字段说明(创建共享,同时共享具有数据加密功能) 创建具有数据加密功能的共享时,请首先参考《数据加密服务API参考》中的“查询密钥列表”章节通过HTTPS请求获取加密密钥的密钥ID、DomainID和密钥别
安全 责任共担 身份认证与访问控制 数据保护技术 审计 监控安全风险
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
使用IAM为开发人员创建用户,通过授予仅能使用SFS,但是不允许删除文件系统的权限策略,控制他们对SFS资源的使用范围。 如果华为账号已经能满足您的要求,不需要创建独立的IAM用户进行权限管理,您可以跳过本章节,不影响您使用SFS服务的其它功能。 IAM是华为云提供权限管理的基础
ypt_alias”字段同时存在时表示启动数据加密功能。 #sfs_crypt_domain_id:租户的Domain id,该字段与“#sfs_crypt_key_id”和“#sfs_crypt_alias”字段同时存在时表示启动数据加密功能。 #sfs_crypt_alias