检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件系统配额管理 默认情况下,SFS对文件系统的使用容量是没有限制的。为了让用户对容量和资源进行合理的分配和管理,通用文件系统支持对文件系统进行配额管理,包括设置配额、删除配额。 通用文件系统设置配额包括设置容量配额和文件数限制。 约束限制 由于配额的校验依赖于文件系统存量,而文
前提条件 您需要规划弹性文件服务所在的区域信息,并根据区域确定调用API的Endpoint,您可以从地区和终端节点获取。 创建共享 如下示例是创建文件共享最简单的配置。 { "share": { "description": "test description"
数据导入导出异步化,不占用训练任务时长,无需部署外部迁移工具 训练任务开始前将数据从OBS导入到SFS Turbo,训练过程中写入到SFS Turbo的Checkpoint数据异步导出到OBS,均不占用训练任务时长。 SFS Turbo和OBS存储服务之间数据直接导入导出,无需部署外部数据拷贝机器及工具。
Turbo存储空间、或缩短冷数据淘汰时间加速冷数据淘汰、或对SFS Turbo进行空间扩容。详情可参见SFS Turbo监控指标说明和创建告警规则。 SFS Turbo性能监控 您可以在CES云监控服务上监控和SFS Turbo文件系统的性能使用情况。当AI算力集群规模变大,大模型参数量变大,导致Checkpo
如何将SFS Turbo部署至CCE? 请根据实际的业务情况,阅读存储管理-CSI-存储概述或存储管理-Flexvolume-极速文件存储卷,并在CCE界面完成部署操作。 父主题: 其他类
在文件系统列表页,选中目标文件系统。 单击“操作”列下的“更多 > 转包周期”。 进入“按需转包年/包月”页面,选择文件系统的购买时长,确认预计到期时间和配置费用后单击“去支付”。 图1 按需转包年/包月 进入支付页面,选择支付方式,确认付款,支付订单后即可完成按需转包年/包月。 父主题: 变更计费模式
对象存储服务 OBS 如果需要创建 OBS 后端存储库,用户需要额外配置OBS Adminstrator权限。 通用文件系统控制台功能依赖的角色或策略 表7 通用文件系统控制台依赖服务的角色或策略 控制台功能 依赖服务 需配置角色/策略 创建通用文件系统 虚拟私有云 VPC IAM用户设置了SFS3
联动目录名称 src_prefix String 导入导出任务的源端路径前缀 dest_target String 和src_target保持一致 dest_prefix String 和src_prefix保持一致 start_time String 任务开始时间 end_time String
华为云根据客户等级定义了不同客户的宽限期和保留期时长。 在文件系统到期前均可开通自动续费,到期前7日凌晨3:00首次尝试自动续费,如果扣款失败,每天凌晨3:00尝试一次,直至文件系统到期或者续费成功。到期前7日自动续费扣款是系统默认配置,您也可以根据需要修改此扣款日。 父主题:
联动目录名称 src_prefix String 导入导出任务的源端路径前缀 dest_target String 和src_target保持一致 dest_prefix String 和src_prefix保持一致 start_time String 任务开始时间 end_time String
项目和企业项目 项目 项目用于将OpenStack的资源(计算资源、存储资源和网络资源)进行分组和隔离。项目可以是一个部门或者一个项目组。一个账户中可以创建多个项目。 企业项目 企业项目是对多个资源实例进行归类管理的单位,不同云服务区域的资源和项目可以归到一个企业项目中。企业可以
默认为按需计费模式。即创建文件系统免费,按实际使用的存储容量和时长收费,以小时为单位,按每小时整点结算,不设最低消费标准。结算时,时长不足1小时的,按1小时计费。 表1 SFS容量型计费模型 计费项 计费说明 存储空间计费 文件系统所占用的存储空间容量和使用时长 通用文件系统 默认为按需计费模式。
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
文件系统管理 创建文件系统异步任务 获取文件系统异步任务列表 获取文件系统异步任务详情 取消/删除文件系统异步任务 配置hpc缓存型后端信息 父主题: SFS Turbo API说明
弹性文件服务同时提供包年包月(资源包)计费方式,您可以提前购买使用额度和时长,获取更多的优惠。超出资源包的部分自动转按需计费。资源包的购买请参见包年包月购买。 弹性文件服务暂不支持退订资源包,建议您在购买资源包前提前规划资源的使用额度和时长。 资源包不支持跨区域使用,购买前请仔细核对区域。 SFS
oint -d /localfolder)/read_ahead_kb 回显结果如下所示: 128 执行以下命令,评估调整该挂载点的预读量配置。 sudo sh -c 'echo 预读量 > /sys/class/bdi/$(mountpoint -d 挂载点)/read_ahead_kb'
务的所有策略请参见权限策略。 使用限制 SFS容量型文件系统适用于所有的SFS系统策略,以及创建的自定义策略。 SFS Turbo文件系统和通用文件系统都适用于系统策略,以及创建的自定义策略。 示例流程 图1 给用户授权SFS权限流程 创建用户组并授权 在IAM控制台创建用户组,并授予只读权限如下所示:
该字段与“#sfs_crypt_key_id”和“#sfs_crypt_domain_id”字段同时存在时表示启动数据加密功能。 建议使用弹性文件服务的默认密钥“sfs/default”的来创建加密共享请参考《弹性文件服务用户指南》中的“文件系统加密”章节和“加密”章节获取详细信息和注意事项)。 创建带企
(Enterprise Project) 设置文件系统生命周期配置 PUT /{file-system-name}?lifecycle sfs3:fileSystem:putLifecycleConfiguration × √ 获取文件系统生命周期配置 GET /{file-system-name}
如何在弹性文件服务SFS和云硬盘EVS之间进行数据迁移? 将文件系统和云硬盘同时挂载至同一云服务器上,再手动进行数据复制即可。 父主题: 其他类