检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Turbo后,可直接在ModelArts的Notebook开发及训练环境中挂载SFS Turbo共享文件系统,并访问其中的数据。 登录ModelArts管理控制台,创建网络并打通创建资源中创建的创建虚拟私有云和子网,详细步骤参见ModelArts网络。 单击1中创建生成的资源池“网络”所在行的“更多”,选择“关联sfsturbo”。
45元/GB/月*200GB*1个月=90元 由此可见,在3~4月份,该文件系统总共产生的费用为:3.02+0.13+90=93.15元。 上述示例中的价格仅供参考,实际计算请以高性能弹性文件服务价格详情中的价格为准。
训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。 如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联动来做数据
Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影
--transfers:传输文件的并发数目。 --checkers:扫描本地文件的并发数目。 -P:数据拷贝进度。 --links:复制源端的软链接,目的端保持为软链接的形式。 --copy-links:复制源端软链接指向的文件内容,目的端变成文件的形式,不再是软链接。 --cre
享的网络资源,以提高网络安全。 说明: 请选择与您的云服务器相同的VPC,此时能达到最好的网络性能。您也可以通过虚拟私有云的VPC对等连接方式将两个或多个VPC互连,实现多VPC、跨VPC下的文件共享。 当跨VPC访问文件系统时,时延、带宽、IOPS会有较大的损耗,建议您优先采用同VPC访问。
--transfers:传输文件的并发数目。 --checkers:扫描本地文件的并发数目。 -P:数据拷贝进度。 --links:复制源端的软链接,目的端保持为软链接的形式。 --copy-links:复制源端软链接指向的文件内容,目的端变成文件的形式,不再是软链接。 --cre
仅支持使用Linux系统的云服务器进行数据迁移。 文件UID和GID在同步操作后将不再保持一致。 文件访问模式同步操作后不再保持一致。 端口号22的出入方向需允许访问。 支持实现增量迁移,即只迁移发生变化的数据。 操作前提 已在云上和本地分别创建一台Linux操作系统的服务器。 服务器已
String 用户指定的子网的网络ID。 vpc_id String 用户指定的VPC ID。 enterprise_project_id String SFS Turbo文件系统绑定的企业项目ID。 tags Array of ResourceTag objects tag标签的列表。 optional_endpoint
project_id 是 String 操作用户的项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Long 设置返回的文件系统个数的最大值,不填默认为1000个 offset 否 Long 设置返回的文件系统的偏移量。 请求参数 表3 请求Header参数
仅支持使用Linux系统的云服务器进行数据迁移。 文件UID和GID在同步操作后将不再保持一致。 文件访问模式同步操作后不再保持一致。 端口号22的出入方向需允许访问。 支持实现增量迁移,即只迁移发生变化的数据。 通过 rclone 工具进行同步时,在执行命令之前写入的数据,可以完全同步
Metadata object 创建文件系统的metadata信息,一到多个字典形式组织的键值对组成。 name 是 String SFS Turbo文件系统的名称。长度为4~64位,必须以字母开头,可以包含字母、数字、中划线、下划线,不能包含其他的特殊字符,不区分大小写。 security_group_id
约束限制 您能创建的文件系统的数量和容量与配额有关系,如果您想查看服务配额、扩大配额,具体请参见“配额”。 更详细的限制请参见具体API的说明。 父主题: 使用前必读
务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对ECS服务,
当您由于业务需求从而需要对存储在文件系统的数据进行加密时,高性能弹性文件服务为您提供加密功能,可以对新创建的文件系统进行加密。 加密文件系统使用的是密钥管理服务(KMS)提供的密钥,无需您自行构建和维护密钥管理基础设施,安全便捷。当用户希望使用自己的密钥材料时,可通过KMS管理控制台的导入密钥功能创建密
要访问您的文件系统,如果是Linux云服务器,您需要在Linux云服务器上安装NFS客户端后使用挂载命令挂载文件系统或使用正确的用户和权限,直接输入SMB文件系统的挂载地址,挂载SMB类型的文件系统。挂载完成后,可共享您的文件系统中的文件和目录。 SFS Turbo类型的文件系统
DNS服务器用于解析高性能弹性文件服务中文件系统的域名。DNS服务器东北区IP地址为100.125.6.250,其它区域详情请参见华为云内网DNS地址。 操作场景 默认情况下,用于解析文件系统域名的DNS服务器的IP地址会在创建ECS时自动配置到ECS上,不需要人工配置。除非默认的DNS服务器的IP地址被修改,
SFS Turbo提供基于云监控服务CES的资源监控能力,帮助用户监控账号下的文件存储系统的使用情况,执行自动实时监控、告警和通知操作。用户可以实时监控高性能弹性文件服务的客户端连接数、带宽、IOPS、容量等信息。 关于SFS Turbo支持的监控指标,以及如何创建监控告警规则等内容,请参见监控。
华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的 IaaS、PaaS 和 SaaS 类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括
获取文件系统异步任务列表。仅支持查询目录资源使用情况的任务,API请求路径的feature取值为dir-usage,以下简称为DU任务。 接口约束 在2023年8月1号之后创建的文件系统支持该API操作。后端有5min的缓存时间,查询的数据可能有延迟。API请求路径的feature仅支持以下取值: dir-usage