检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请在控制台进行包周期文件系统的管理。
如您需要修改开放的端口,可以前往“网络控制台 > 访问控制 > 安全组”找到目标安全组进行修改即可。推荐SFS Turbo实例使用单独的安全组,与业务节点隔离。
文件系统 文件系统通过标准的NFS协议和CIFS协议为客户提供文件存储服务,用于网络文件远程访问,用户通过管理控制台创建挂载地址后,即可在多个云服务器上进行挂载,并通过标准的POSIX接口对文件系统进行访问。
rsync -version 图2 查看工具安装情况 执行以下命令,将源端服务器/mnt/src目录中的数据全量同步迁移至目的端服务器/mnt/dst目录(文件系统)中。
创建告警规则 登录管理控制台。 单击“服务列表 > 云监控服务”。 选择“告警 > 告警规则”。 单击“创建告警规则”。 在“创建告警规则”界面,根据界面提示配置参数。
创建OBS桶 创建OBS桶,存储类别为“标准存储”,桶策略为“私有”,操作指导请参考创建OBS桶。 创建ModelArts资源池 以常见的专属资源池为例,专属资源池提供独享的计算资源,可用于Notebook、训练作业、部署模型。专属资源池不与其他用户共享,更加高效。
操作步骤 在管理控制台左上角单击图标,选择区域和项目。 在“服务列表”中,选择“网络 > VPC终端节点”,进入终端节点页面。 在左侧导航栏,选择“VPC终端节点 > 终端节点”。 在终端节点界面,单击“购买终端节点”,创建连接DNS服务的终端节点。
操作步骤 登录弹性文件服务管理控制台。 在文件系统列表中查看所有文件系统的基本信息,参数说明如表1所示。 表1 参数说明 参数 说明 名称 已创建的文件系统名称,例如:sfs-name-001。 可用区 文件系统所在的可用区。
// 您可以登录访问管理控制台获取访问密钥AK/SK public static String accessKey = "ACCESS_KEY_ID"; public static String securityKey = "SECRET_ACCESS_KEY_ID
文件导出速度受OBS服务的写入带宽上限影响,默认是16Gbit/s,如果大模型训练生成的Checkpoint文件过大、导出速度过慢,可提交工单申请调大OBS服务的写入带宽。 父主题: 基本配置
// 您可以登录访问管理控制台获取访问密钥AK/SK public static String accessKey = System.getenv("HUAWEICLOUD_SDK_AK"); public static String securityKey = System.getenv
DNS服务器东北区IP地址为100.125.6.250,其它区域详情请参见华为云内网DNS地址。 图1 配置DNS 格式如下: nameserver 100.125.1.250 nameserver 100.125.17.29 编辑成功=>3。
配置SFS Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。 配置SFS Turbo数据淘汰策略。 4 训练 上传数据至OBS并预热到SFS Turbo中。 创建训练任务。
可以直接从云下访问弹性文件服务吗? SFS Turbo支持通过IDC专线或其他方式建立通信后,可以从云下访问SFS Turbo文件系统。 SFS容量型文件系统暂不支持直接从云下访问弹性文件服务,但您可以将数据从云下迁移至弹性文件服务后再使用。 父主题: 其他类
OBS性能监控 您可以在CES云监控服务上监控SFS Turbo关联的OBS桶的性能使用情况,SFS Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽上限QoS影响,默认是16Gbit/s,如果导入导出速度受到OBS读写带宽上限影响,可提交工单联系技术支持人员申请调大
在弹性文件服务管理控制台无法看到购买的SFS容量型资源包,查看资源包请参考如何查看资源包的使用量?。使用SFS容量型/通用文件系统时会自动使用购买的资源包的容量。多个文件系统可以使用同一SFS容量型/通用资源包。
表1 字段说明 字段 说明 挂载地址 挂载对象,即要挂载的文件系统的挂载地址。设置为挂载NFS协议类型文件系统到云服务器(Linux)中mount命令中的挂载地址。 /local_path 挂载点,即云服务器上创建的挂载文件系统的目录。
当有自定义字段x-obs-date时,该参数按照空字符串处理。 如果进行临时授权方式操作(如临时授权方式获取对象内容等操作)时,该参数不需要。
uid Integer 导入对象所有者的用户id,默认值是0,取值范围是0到4,294,967,294(即2^32-2)。 gid Integer 导入对象所属用户组id,默认值是0,取值范围是0到4,294,967,294(即2^32-2)。
支持区域: 华北-北京四 华东-上海一 华南-广州 文件系统类型 OBS 2.0支持SFS Turbo SFS Turbo文件系统更适合海量小文件业务。