检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
与ModelArts在同一区域,例如OBS桶区域为“北京四”时,必须保证ModelArts管理控制台区域也在“北京四”区域,否则会导致无法获取到相关数据。 数据集要求 预测分析项目中需要使用到的数据集为表格数据集,数据格式支持csv格式。表格数据集的具体介绍请参见表格数据集。 将原始
Step4 获取推理基础镜像 建议使用官方提供的镜像部署服务。镜像地址{image_url}参考镜像版本。 docker pull {image_url} Step5 构建ModelArts Standard推理镜像 获取模型软件包,并上传到ECS的目录下(可自定义路径),获取地址参考表1。
Step4 获取推理基础镜像 建议使用官方提供的镜像部署服务。镜像地址{image_url}参考镜像版本。 docker pull {image_url} Step5 构建ModelArts Standard推理镜像 获取模型软件包,并上传到ECS的目录下(可自定义路径),获取地址参考表1。
"status":"initializing" } --- apiVersion: batch.volcano.sh/v1alpha1 # The value cannot be changed. The volcano API must be used. kind: Job
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后,可创建训练作业,在“选择镜像”中选择SWR中基础镜像。 由于基础镜像内需要安装固定版本依赖包,如果直接使用基础镜像进行训练,每次创建训练作业时,训练作业的图1中都需要执行 install.sh文件,来安装依赖以及下载完整代码。
图3 复制登录指令 Step5 获取推理基础镜像 建议使用官方提供的镜像部署服务。镜像地址{image_url}参考镜像版本。 docker pull {image_url} Step6 构建ModelArts Standard推理镜像 获取模型软件包和依赖包,并上传到ECS的
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后,可创建训练作业,在“选择镜像”中选择SWR中基础镜像。 由于基础镜像内需要安装固定版本依赖包,若直接使用基础镜像进行训练,每次创建训练作业时,训练作业的图1中都需要执行 install.sh 文件,来安装依赖以及下载完整代码。
Step4 获取推理基础镜像 建议使用官方提供的镜像部署服务。镜像地址{image_url}参考镜像版本。 docker pull {image_url} Step5 构建ModelArts Standard推理镜像 获取模型软件包,并上传到ECS的目录下(可自定义路径),获取地址参考表1。
准备镜像 准备训练Llama2-13B模型适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置Standard物理机环境操作。 镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 训练基础镜像
配置节点参数控制分支执行 功能介绍 支持单节点通过参数配置或者获取训练输出的metric指标信息来决定执行是否跳过,同时可以基于此能力完成对执行流程的控制。 应用场景 主要用于存在多分支选择执行的复杂场景,在每次启动执行后需要根据相关配置信息决定哪些分支需要执行,哪些分支需要跳过
Step4 获取推理基础镜像 建议使用官方提供的镜像部署服务。镜像地址{image_url}参考镜像版本。 docker pull {image_url} Step5 构建ModelArts Standard推理镜像 获取模型软件包,并上传到ECS的目录下(可自定义路径),获取地址参考表1。
和SaaS类各项云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措
录指定窗口,单击复制临时登录指令。在创建的ECS中粘贴临时登录指令,即可完成登录。 图3 复制登录指令 Step5 获取训练镜像 请确保在正确的Region下获取镜像。建议使用官方提供的镜像部署训练服务。镜像地址{image_url}请参见表1。 docker pull {image_url}
在SWR服务页面创建镜像组织。 图2 创建镜像组织 Step4 获取推理基础镜像 建议使用官方提供的镜像部署服务。镜像地址{image_url}参考镜像版本。 docker pull {image_url} Step5 构建ModelArts Standard推理镜像 获取模型软件包和依赖包,并上传到ECS的
Step4 获取推理基础镜像 建议使用官方提供的镜像部署服务。镜像地址{image_url}参考镜像版本。 docker pull {image_url} Step5 构建ModelArts Standard推理镜像 获取模型软件包,并上传到ECS的目录下(可自定义路径),获取地址参考表1。
分析错误时:训练镜像先看日志,推理镜像先看API的返回。 可以通过命令查看容器输出到stdout的所有日志: docker logs -f 39c9ceedb1f6 一般在做推理镜像时,部分日志是直接存储在容器内部的,所以需要进入容器看日志。注意:重点对应日志中是否有ERROR(包括,容器启动时、API执行时)。
read(json_path, binary=True)) 使用“numpy.load”读取“npy”文件,请您在代码中尝试如下方法: 使用MoXing API读取OBS中的文件 np.load(mox.file.read(_SAMPLE_PATHS['rgb'], binary=True)) 使
"modelarts:trainJob:create" 的权限才可以完成操作(无论界面操作还是API调用)。关于如何给一个用户赋权(准确讲是需要先将用户加入用户组,再面向用户组赋权),可以参考IAM的文档《权限管理》。 而ModelArts还有一个特殊的地方在于,为了完成AI计
test.py 图2 部署在线服务 在XShell中新建一个终端,参考步骤5~7进入容器,该容器为客户端。执行以下命令验证自定义镜像的三个API接口功能。当显示如图所示时,即可调用服务成功。 curl -X POST -H "Content-Type: application/json"
"modelarts:trainJob:create" 的权限才可以完成操作(无论界面操作还是API调用)。关于如何给一个用户赋权(准确讲是需要先将用户加入用户组,再面向用户组赋权),可以参考IAM的文档《权限管理》。 而ModelArts还有一个特殊的地方在于,为了完成AI计