检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
3 数据导入导出异步化,不占用训练任务时长,无需部署外部迁移工具 训练任务开始前将数据从OBS导入到SFS Turbo,训练过程中写入到SFS Turbo的Checkpoint数据异步导出到OBS,均不占用训练任务时长。 SFS Turbo和OBS存储服务之间数据直接导入导出,无需部署外部数据拷贝机器及工具。
- √ √ 创建数据导入导出任务 POST /v1/{project_id}/sfs-turbo/{share_id}/hpc-cache/task sfsturbo:shares:createDataRepositoryTask - √ √ 查询数据导入导出任务详情 GET
登录已创建好的Linux系统云服务器。 在目的端服务器执行以下命令,验证文件同步情况。 cd /mnt/dst ls | wc -l 数据量与源端服务器中的一致时,表示数据迁移成功。 父主题: 弹性文件服务数据迁移
结果返回包含所有标签的资源列表,key之间是与的关系,key-value结构中value是或的关系。无tag过滤条件时返回全量数据。 详细说明参见表3。 sys_tags 否 List<tag> 包含系统标签。仅op_service权限可以使用此字段。 sys_tags和过滤条件without_any_tag 、tags不能同时使用。
SFS Turbo性能测试 fio是一个开源的I/O压力测试工具,可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。
ldaps://{ip_address}:{port_number},例如ldap://192.168.xx.xx:60000 base_dn 是 String 数据库中的域 user_dn 否 String 用户区别名 password 否 String ldap认证密码 vpc_id 否 String
ldaps://{ip_address}:{port_number},例如ldap://192.168.xx.xx:60000 base_dn 否 String 数据库中的域 user_dn 否 String 用户区别名 password 否 String ldap认证密码 vpc_id 否 String
自定义告警内容 表2 配置告警内容 参数 参数说明 取值样例 选择类型 根据需要可选择从模板导入或自定义创建。 说明: 当监控范围为指定资源时可选择从模板导入。 从模板导入 模板 选择需要导入的模板。 - 告警策略 触发告警规则的告警策略。 当资源类型选择站点监控、日志监控、自定义
行权限;第三位0代表其他用户对该文件无权限。 uid 否 Integer 导入对象所有者的用户id,默认值是0,取值范围是0到4,294,967,294(即2^32-2)。 gid 否 Integer 导入对象所属用户组id,默认值是0,取值范围是0到4,294,967,294(即2^32-2)。
Turbo联动目录下创建的文件,及之后对这些文件进行的元数据和数据修改,会被自动同步到OBS桶里。 CHANGED:表示修改数据,从OBS桶里导入到SFS Turbo联动目录下的文件,在SFS Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 DELETED:表示删除数据,在SFS
huaweicloud.com。 注册账号。 使用弹性文件服务前需注册一个华为账号并开通华为云。该账号可访问华为云的所有服务,包括弹性文件服务器。如果您已有账号,请从3开始。 在页面右侧,单击“注册”。 在注册页面,根据提示信息完成注册。 注册成功后,系统会自动跳转至您的个人信息界面。
什么是弹性文件服务? 弹性文件服务(Scalable File Service,SFS)提供按需扩展的高性能文件存储,支持同时为多个弹性云服务器(Elastic Cloud Server, ECS)提供文件共享服务。弹性文件服务提供标准的文件访问协议,用户可以将现有应用和工具与弹性文件服务无缝集成。
使用弹性文件服务前,您需要完成本文中的准备工作。 注册华为账号并开通华为云 为账户充值 创建IAM用户 注册华为账号并开通华为云 如果您已有一个华为账户,请跳到下一个任务。如果您还没有华为账户,请参考以下步骤创建。 打开www.huaweicloud.com,单击“注册”。 根据提示信息完成注册,详细操作请参见如何注册华为云管理控制台的用户?。
审计 云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录SFS的管理事件和数据事件用于审计。
read_bandwidth 读带宽 该指标用于统计文件系统在周期内的读数据量。 单位:字节/秒 ≥ 0 bytes/s 文件共享 4分钟 write_bandwidth 写带宽 该指标用于统计文件系统在周期内的写数据量 单位:字节/秒 ≥ 0 bytes/s 文件共享 4分钟 rw_bandwidth
资源被清空。 资源包的大小与文件系统的计算吞吐能力无关。 按需计费购买 注册云服务账号。 打开华为云网站www.huaweicloud.com。 单击页面右上角“注册”。 进入注册页面,根据提示信息完成注册。 充值。 登录管理控制台。 单击“充值”,系统自动跳转到充值界面。 根据界面提示信息,对账户进行充值。
资源被清空。 资源包的大小与文件系统的计算吞吐能力无关。 按需计费购买 注册云服务账号。 打开华为云网站www.huaweicloud.com。 单击页面右上角“注册”。 进入注册页面,根据提示信息完成注册。 充值。 登录管理控制台。 单击“充值”,系统自动跳转到充值界面。 根据界面提示信息,对账户进行充值。
相关的操作事件,便于日后的查询、审计和回溯。 云审计服务(Cloud Trace Service,CTS) 审计 标签用于标识文件系统,以实现对文件系统进行分类。 标签管理服务(Tag Management Service,TMS) 标签
Turbo文件系统在同一个Region。 不支持 勾选“将OBS桶的读写权限通过桶策略授权给SFS Turbo云服务”。 单击“确定”,完成绑定。 指定导入目录和文件的默认权限,请参考《高性能弹性文件服务API参考》的“绑定后端存储”和“更新后端存储属性”章节执行操作。 父主题: 基本配置
/localfolder)/read_ahead_kb 回显结果如下所示: 128 执行以下命令,评估调整该挂载点的预读量配置。 sudo sh -c 'echo 预读量 > /sys/class/bdi/$(mountpoint -d 挂载点)/read_ahead_kb' 例如: sudo