检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Megatron框架的适配需要提前安装好pytorch及其依赖。 Megatron改动示例 设置环境变量,命令如下所示: AITURBO_BACKUP_ENABLE = True 环境变量“AITURBO_BACKUP_ENABLE”用于配置是否开启内存副本,当对可靠性要求不高时可以不配置,默认为Fa
has not enough ips 子网可用IP不足 请使用合法的参数重试。 400 SFS.TURBO.0030 Ecs resource not enough ECS资源不足,该规格在选择的AZ售罄 请更换可用区重试。 400 SFS.TURBO.0031 cache type not
HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私有云可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS Turbo文件系统,文件
进入页签“绑定后端存储”,单击“绑定OBS桶”。 图1 绑定OBS桶 在右侧弹窗“绑定OBS桶”中,填写如下表所示参数。 表1 绑定OBS桶配置参数 参数 含义 限制 配置后可编辑 联动目录名称 SFS Turbo文件系统根目录下会以该名称创建一个子目录,该目录将绑定对应的OBS桶,且该目录名称不能和已有目录重名。
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
查询job的状态详情 功能介绍 查询job的执行状态。 可用于查询SFS Turbo异步API的执行状态。例如:可使用调用创建并绑定ldap配置接口时返回的jobId,通过该接口查询job的执行状态。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API E
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
型等信息生成的签名信息。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。格式例如:HCY8BGCN1YM5ZWYOK1MH SK(Secret Access Key):与访问密钥ID结合使
int快速恢复。 图2 加载checkpoint流程 安装AITurbo SDK 安装AITurbo SDK依赖包。 AITurbo SDK依赖rpyc,setproctitle,PyYAML,pathlib2等三方库,安装方式如下: pip install rpyc setproctitle
ConfigNasTarget objects 配置 nas 后端的信息 表6 ConfigNasTarget 参数 是否必选 参数类型 描述 name 是 String nas 配置名 type 是 String nas 配置协议类型 url 是 String nas 配置 ip 响应参数 状态码:
用SDK的难度,推荐使用。 SDK列表 表1提供了SFS Turbo服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 参考文档 Java huaweicloud-sdk-java-v3 Java
/SK public static String accessKey = "ACCESS_KEY_ID"; public static String securityKey = "SECRET_ACCESS_KEY_ID"; public static
弹性文件服务(SFS容量型文件系统):“SFS ReadOnlyAccess” 弹性文件服务(SFS Turbo文件系统):“SFS Turbo ReadOnlyAccess” 弹性文件服务(通用文件系统):“SFS3 ReadOnlyAccess” 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。
IaaS、PaaS 和 SaaS 类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API 网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思
支持审计的关键操作 操作场景 弹性文件服务支持通过云审计服务对资源的操作进行记录,以便用户可以查询、审计和回溯。 目前仅SFS Turbo文件系统、SFS容量型文件系统支持通过云审计服务对资源的操作进行记录,通用文件系统暂不支持。 前提条件 已开通云审计服务且追踪器状态正常。开通
在运行中输入“gpedit.msc”,回车打开“本地组策略编辑器”。如图1所示。 图1 输入gpedit.msc 在“本地组策略编辑器”界面,选择“计算机配置 > 管理模板”。如图2所示。 图2 本地组策略编辑器 在“管理模板”下,选择“网络 > Lanman工作站”,找到“启用不安全的来宾登录”。如图3所示。
share_id}/fs/dir-usage/tasks { "path" : "/path" } 响应示例 状态码: 202 Accepted { "task_id" : "d651ea2b-2b20-4c6d-8bbf-2adcec18dac9" } 状态码: 400
curl/7.29.0 Host: examplefilesystem.sfs3.cn-north-4.myhuaweicloud.com Accept: */* Date: WED, 01 Jul 2015 02:31:25 GMT Authorization: OBS H4IPJX
curl/7.29.0 Host: examplefilesystem.sfs3.cn-north-4.myhuaweicloud.com Accept: */* Date: WED, 01 Jul 2015 02:31:25 GMT Authorization: OBS H4IP
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 已经在OBS上创建好普通OBS桶,请参见创建普通OBS桶。 已经安装obsutil,请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址,下载Imagenet21k数据集:http://image-net