检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影
训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。 如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联动来做数据
约束限制 您能创建的文件系统的数量和容量与配额有关系,如果您想查看服务配额、扩大配额,具体请参见“配额”。 更详细的限制请参见具体API的说明。 通用文件系统API只支持内网调用,不支持公网调用。 父主题: 使用前必读
并使用SFS资源。 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 如果华为账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用SFS服务的其它功能。 本章节为您介绍对用户授权的方法,操作流程如图1所示。 前提条件 给用户组授权
Turbo实例使用单独的安全组,与业务节点隔离。 SFS容量型文件系统的安全组需要用户自行添加对应的入方向和出方向访问规则,配置方法请参见添加安全组规则。SFS容量型文件系统中的NFS协议所需要入方向的端口号为111、2049、2051、2052。CIFS协议所需要的端口号为445,DNS服务器所需的端口号为53。
文件系统自动断开挂载 问题描述 文件系统与服务器的连接断开,需要重新挂载。 可能原因 没有配置自动挂载,重启服务器后会自动断开。 解决方法 参考自动挂载文件系统,在云服务器设置重启时进行自动挂载。 提交工单 如果上述方法均不能解决您的疑问,请提交工单寻求更多帮助。
project_id 是 String 操作用户的项目ID,获取方法请参见获取项目ID。 project_id 是 String 要查询、更新或删除配额的租户的ID,这个ID不同于URI中第一个项目ID,第一个ID为管理租户的ID。 请求消息头 该操作消息头与普通请求一样,请参见表3。 请求消息
如何购买弹性文件服务? 弹性文件服务默认为按需计费,即按购买的存储容量和时长收费。您也可以购买包年包月套餐,提前规划资源的使用额度和时长。在欠费时,您需要及时(15天之内)续费以避免您的文件系统资源被清空。 资源包的大小与文件系统的计算吞吐能力无关。 按需计费购买 注册云服务账号。 打开华为云网站www
access_type String 共享访问规则的类型。 access_to String 后端允许或拒绝访问的对象。 access_level String 共享访问规则的级别。 state String 共享访问规则的状态。API版本在2.28之前,共享访问规则的状态为new, active,或者error;在2
支持实现增量迁移,即只迁移发生变化的数据。 操作前提 已在云上和本地分别创建一台Linux操作系统的服务器。 服务器已完成弹性IP的配置,保证两台服务器间可以相互访问。 已创建SFS Turbo文件系统,并获取到文件系统的挂载地址。 已经获取到本地NAS存储的挂载地址。 操作步骤 登录弹性云服务器管理控制台。
Location 否 String 区域 响应参数 该请求的响应消息使用公共消息头,具体请参考 表1。 响应消息体(可选) 响应消息体通常以结构化格式(如JSON或XML)返回,与响应消息头中Content-type对应,传递除响应消息头之外的内容。 请求示例 在“cn-east-3”区域创建文件系统,主机地址是Host:
配额、修改配额、删除配额和查询配额。 目录配额中描述的所有目录为SFS Turbo中的目录,与挂载点无关。 前提条件 已创建文件系统。更多信息,请参见创建文件系统。 已根据业务场景,完成挂载文件系统并创建了目录,或通过创建目录的API创建了目录。 使用限制 当前仅20MB/s/T
共享资源搜索字段。当该字段不设置时,默认为搜索租户的所有共享。 tags 否 Array of tags 标签搜索字段。包含标签,结果返回满足tags搜索条件的共享资源列表。搜索条件中所有tag之间是“与”的关系,即只有当所有tag搜索条件都满足时,共享资源才可以被搜索。每个tag搜索条件的key-values
符合查询条件的共享资源列表。 total_count Integer 符合查询条件的共享资源总个数。 说明: 查询条件中的分页参数offset和limit对于total_count字段不会产生作用,即该字段显示的是满足查询条件共享资源的总个数,而非分页后返回的共享资源的个数。 resource
否(查询参数) String 取值为true时,表示当前租户可以查询到自己的全部共享和其他租户is_public为true的共享,取值为false时,表示当前用户查询不到其他租户的共享。当前租户的共享,不受is_public参数的控制,全部都能查出来。 enterprise_project_id
挂载信息的字段说明如表 1 字段说明所示。 表1 字段说明 字段 说明 挂载地址 挂载对象,即要挂载的文件系统的挂载地址。设置为挂载NFS协议类型文件系统到云服务器(Linux)中mount命令中的挂载地址。 /local_path 挂载点,即云服务器上创建的挂载文件系统的目录。设
SK)。 您需要规划文件系统所在的区域信息,并根据区域确定调用API的Endpoint,详细信息请参见地区和终端节点。 区域一旦确定,创建完成后无法修改。 在cn-north-4区域创建一个名为filesystem001的文件系统 示例中使用通用的Apache Http Client。
别成本偏高的资源,然后采取针对性的优化措施。 监控资源利用率,评估当前配置是否过高。 监控闲置的资源,避免浪费。 计费模式优化 不同类型的业务对资源使用周期有不同的要求,为每一类业务确定合适的计费模式,灵活组合以达到最优效果。 针对长期稳定的成熟业务,使用包年/包月计费模式。 针
SFS Turbo文件系统 管理SFS Turbo文件系统与OBS桶的存储联动 目录配额 加密传输 文件系统权限管理 通过AITurbo加速保存与加载checkpoint
状态码 状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 响应消息头 对应请求消息头,响应同样也有消息头,如“Content-type”。 详细的公共响应消息头字段请参见表1。 表1 公共响应消息头 消息头名称