检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基本概念 产品基本概念 项目和企业项目 区域和可用区
安全 责任共担 身份认证与访问控制 数据保护技术 审计 监控安全风险
身份认证与访问控制 服务的访问控制 父主题: 安全
典型应用举例 高性能计算 企业网站/APP后台 日志打印
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
Turbo文件系统,要使用加密传输功能需要先安装stunnel。请执行以下命令进行安装: ubuntu或Debian操作系统安装命令 sudo apt update sudo apt-get install stunnel CentOS,EulerOS或HCE OS操作系统安装命令 sudo
监控安全风险 SFS Turbo提供基于云监控服务CES的资源监控能力,帮助用户监控账号下的文件存储系统的使用情况,执行自动实时监控、告警和通知操作。用户可以实时监控高性能弹性文件服务的客户端连接数、带宽、IOPS、容量等信息。 关于SFS Turbo支持的监控指标,以及如何创建监控告警规则等内容,请参见监控。
n)挂载。 当您的业务对时延、IOPS指标要求较高时,使用SFS Turbo文件系统进行同区域下跨可用区挂载或者跨区域挂载时,由于跨可用区/跨区域网络时延远大于同可用区,导致SFS Turbo文件系统跨可用区或者跨区域挂载访问性能大幅下降(IO时延增大数倍/数十倍),请谨慎使用跨可用区/跨区域挂载方案。
求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS
IAM权限是作用于云资源的,IAM权限定义了允许和拒绝的访问操作,以此实现云资源权限访问控制。管理员创建IAM用户后,需要将用户加入到一个用户组中,IAM可以对这个组授予SFS Turbo所需的权限,组内用户自动继承用户组的所有权限。 权限管理 父主题: 身份认证与访问控制
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
弹性云服务器无需添加规则即可互相访问。系统会为每个云账号默认创建一个默认安全组,用户也可以创建自定义的安全组。 SFS Turbo文件系统安全组要求:为了确保SFS Turbo能够被您的弹性云服务器访问,在成功创建SFS Turbo后,系统将自动放通SFS Turbo中NFS协议
限制类 文件系统使用空间不足,可以扩容吗? 文件系统中的数据是否可以跨区域迁移? 文件系统可以跨账号挂载使用吗?
规格类 在文件系统中存放的单个文件最大支持多少? 高性能弹性文件服务支持哪些访问协议? 每个账号最多可以创建多少个文件系统? 一个文件系统最多支持同时挂载到多少台云服务器上?
方案概述 通过云专线迁移(rclone工具) 跨服务器迁移(rclone工具) 通过云专线迁移(rsync工具) 文件系统之间迁移数据 SFS容量型文件系统迁移至其他文件系统
理高性能弹性文件服务内的资源和费用,详见“保留期”。为了防止相关资源不会被停止服务或者逾期释放,您需要及时进行还款或充值。 查询步骤 登录管理控制台。 单击页面右上角的“费用”进入“费用中心”页面。 在“总览”页面可以查看到当前的欠费金额。 如果存在欠费,请及时充值。 更多关于欠费还款操作,请参考如何进行欠费还款。
~ 2023/05/08 23:59:59 您需要为每个计费周期预先付费,每个计费周期中,文件系统的费用计算如下: 文件系统费用 = 文件系统单价 * 容量 * 购买时长 示例中的文件系统费用= 0.4元/GiB/月 * 500GiB * 1个月 = 200元 上述示例中的价格仅供
理高性能弹性文件服务内的资源和费用,详见“保留期”。为了防止相关资源不会被停止服务或者逾期释放,您需要及时进行还款或充值。 查询步骤 登录管理控制台。 单击页面右上角的“费用”进入“费用中心”页面。 在“总览”页面可以查看到当前的欠费金额。 如果存在欠费,请及时充值。 更多关于欠费还款操作,请参考如何进行欠费还款。