检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
时与模型大小、存储的IO性能等密切相关,往往需要几分钟到几十分钟不等,为了保证训练状态的一致性,保存checkpoint时训练必须暂停,保存时间影响了训练过程的整体效率。当发生故障,训练程序从已有checkpoint恢复时,每张卡都需要从持久化存储中加载,在训练集群规模较大,存储
获取访问密钥(AK/SK) IAM用户若希望使用AK/SK访问SFS,必须要账号为其开启“编程访问”。开启方法请参见查看或修改IAM用户信息。 在调用接口的时候,需要使用AK/SK进行签名验证。AK/SK获取步骤如下: 登录控制台。 鼠标指向界面右上角的登录用户名,在下拉列表中单击“我的凭证”。 单击“管理访问密钥”。
ShareName object 需要修改的SFS Turbo文件系统 表4 ShareName 参数 是否必选 参数类型 描述 name 是 String 需要修改的SFS Turbo文件系统的名字 响应参数 无 请求示例 修改文件系统的名称,需要修改的SFS Turbo文件系统
SDK概述 本文介绍了SFS Turbo提供的SDK语言版本,列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 SDK列表 表1提供了SFS Turbo服务支持的SDK列表,您可以在GitH
页面。 在追踪器信息右侧,单击操作下的“停用”。 单击“确定”,完成停用追踪器。 追踪器停用成功后,操作下的“停用”切换为“启用”。如果您需要重新启用追踪器,单击“启用 > 确定”,则系统重新开始记录新的操作。 父主题: 使用CTS审计SFS Turbo文件系统
15:00:00购买了一个按需计费的文件系统,规格配置如下: 类型:SFS Turbo 40MB/s/TiB 容量:100 GB 用了一段时间后,用户发现当前规格无法满足业务需要。于2023/03/20 15:00:00该用户对文件系统进行扩容操作,容量扩增为200GB。因为该文件系统打算长期使用下去,于2023/03/20
Turbo文件系统详情,依赖的服务是虚拟私有云 VPC。需要配置的角色/策略如下: IAM 用户设置了 SFS Turbo ReadOnlyAccess权限后,权限集中包含了 VPC ReadOnlyAccess权限,这是查询文件系统详情依赖的权限,用户不需要额外添加。 操作步骤 登录高性能弹性文件服务管理控制台。
stunnel是一个开源网络中继。stunnel会监听本地端口,并将发到其上的流量加密转发到SFS Turbo文件系统,要使用加密传输功能需要先安装stunnel。请执行以下命令进行安装: ubuntu或Debian操作系统安装命令 sudo apt update sudo apt-get
欠费后,您可以在“费用中心”查看欠费详情。在欠费时,将按照保留期处理规则处理高性能弹性文件服务内的资源和费用,详见“保留期”。为了防止相关资源不会被停止服务或者逾期释放,您需要及时进行还款或充值。 查询步骤 登录管理控制台。 单击页面右上角的“费用”进入“费用中心”页面。 在“总览”页面可以查看到当前的欠费金额。
Turbo? 高性能弹性文件服务默认为按需计费,即按购买的存储容量和时长收费。您也可以购买包年包月套餐,提前规划资源的使用额度和时长。在欠费时,您需要及时(15天之内)续费以避免您的文件系统资源被清空。 按需计费购买 注册云服务账号。 打开华为云网站www.huaweicloud.com。
创建IAM用户并授权使用SFS Turbo 如果您需要对您所拥有的SFS Turbo进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的华为账号中,给企业中不同
为防止资源滥用,平台限定了各服务资源的配额,对用户的资源数量和容量做了限制。如您最多可以创建多少个文件系统。 如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 怎样查看我的配额? 登录管理控制台。 单击管理控制台左上角的,选择区域。 在页面右上角,选择“资源 > 我的配额”。
如何购买高性能弹性文件服务? 高性能弹性文件服务默认为按需计费,即按购买的存储容量和时长收费。您也可以购买包年包月套餐,提前规划资源的使用额度和时长。在欠费时,您需要及时(15天之内)续费以避免您的文件系统资源被清空。 资源包的大小与文件系统的计算吞吐能力无关。 按需计费购买 注册云服务账号。 打开华为云网站www
3及以上版本。 当客户端与服务端之间网络延迟较高(例如在线下IDC访问云上NFS文件系统和跨Region挂载NFS文件系统的场景下),且您需要达到较高的带宽或IOPS时,建议开启该功能; 开启nconnect后对于单并发、小IO数据块等场景会有一定的时延增加,当您的业务为小并发的延迟敏感型时,不建议开启该功能;
欠费后,您可以在“费用中心”查看欠费详情。在欠费时,将按照保留期处理规则处理高性能弹性文件服务内的资源和费用,详见“保留期”。为了防止相关资源不会被停止服务或者逾期释放,您需要及时进行还款或充值。 查询步骤 登录管理控制台。 单击页面右上角的“费用”进入“费用中心”页面。 在“总览”页面可以查看到当前的欠费金额。
权限”。 配置调用SFS Turbo接口的自定义策略: 单击右上角的“创建自定义策略”,进入自定义策略配置页面。 输入“策略名称”,用户可根据需要自定义,例如“委托modelarts操作SFS Turbo-1” “策略配置方式”选择选择“可视化视图”或者“JSON视图”均可。如果选择
HPC型文件系统。 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要运行一段时间,根据您的训练业务逻辑和选择的资源不同,训练时长将持续几十分钟到几小时不等。要查看训练作业实时情况,您可以前往训练作业列表,查看训练作业的基本情况。
3及以上版本。 当客户端与服务端之间网络延迟较高(例如在线下IDC访问云上NFS文件系统和跨Region挂载NFS文件系统的场景下),且您需要达到较高的带宽或IOPS时,建议开启该功能; 开启nconnect后对于单并发、小IO数据块等场景会有一定的时延增加,当您的业务为小并发的延迟敏感型时,不建议开启该功能;
事件类型 当告警类型选择事件时,需要选择事件类型,可选择系统事件或自定义事件。 系统事件 事件来源 当告警类型选择事件时,需要设置事件来源。 当事件类型选择系统事件时,需要选择事件来源的云服务名称。 当事件类型选择自定义事件,事件来源需要与上报的字段一致,格式需要为service.item形式。
Turbo文件系统的容量使用情况,并创建告警规则,当容量使用率超过一定阈值,可以发送邮件、短信等告警到运维人员。当收到容量监控告警时,您需要及时清理SFS Turbo存储空间、或缩短冷数据淘汰时间加速冷数据淘汰、或对SFS Turbo进行空间扩容。详情可参见SFS Turbo监控指标说明和创建告警规则。