检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备训练模型适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest-2.myhuaweicloud.com/a
SDK安装;如果本地已安装,则无需再次安装。 进行Session鉴权。可参见(可选)Session鉴权完成鉴权。鉴权完成后,即可开始使用。 SDK版本说明 表1 ModelArts SDK版本说明 发布时间 版本号 说明 2023-04 1.4.18 1.4.18版本在SDK旧版本基础上优化集成,主要新增DLI
select:单选下拉列表 values Array of LabelAttributeValue objects 标签属性值列表。 表8 LabelAttributeValue 参数 参数类型 描述 id String 标签属性值ID。 value String 标签属性值。 表9 LabelProperty
conversations:包含一系列对话对象,每个对象都由发言者(from)和发言内容(value)组成。 from:表示对话的角色,可以是"human"(人类)或"gpt"(机器),表示是谁说的这句话。 value:具体的对话内容。 system:系统提示词,用来为整个对话设定场景或提供指导原则。
准备训练模型适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest-2.myhuaweicloud.com/a
准备训练模型适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest-2.myhuaweicloud.com/a
yaml 执行如下命令,检查pod启动情况。如果显示“1/1 running”状态代表启动成功。 kubectl get pod 图3 启动成功的回显 执行如下命令,查看日志。日志显示如图所示表示成功执行动态路由。 kubectl logs {pod-name} 其中{pod-n
要创建的文件夹列表如表1所示,示例中的桶名称“test-modelarts” 和文件夹名称均为举例,请替换为用户自定义的名称。 创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。 请确保您使用的OBS与ModelArts在同一区域。 表1 OBS桶文件夹列表 文件夹名称 用途
download.nvidia.com/tesla/470.182.03/NVIDIA-Linux-x86_64-470.182.03.run 添加权限。 chmod +x NVIDIA-Linux-x86_64-470.182.03.run 运行安装文件。 ./NVIDIA-Linux-x86_64-470
SchemaMap objects 表格数据对应的schema映射信息。 source_info 否 SourceInfo object 导入表格数据源所需的信息。 with_column_header 否 Boolean 文件中首行是否是列名,用于表格数据集。可选值如下: true:文件首行为列名
</box>。 对于带图像输入的内容可表示为Picture id: <img>img_path</img>\n{your prompt},其中id表示对话中的第几张图片。"img_path"可以是本地的图片或网络地址。 对话中的检测框可以表示为<box>(x1,y1),(x2,y2)</box>,其中
0.6 PyTorch版本:2.2.0 Python版本:3.10 确保容器可以访问公网。 训练支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 支持的模型列表及权重文件地址 支持模型 Template 支持模型参数量 权重文件获取地址 Llama2 llama2 llama2-7b
h size、并行切分策略、学习率warm-up、模型参数、FA配置等。用户在进行NPU精度和GPU精度比对前,需要保证两边的配置一致。 表1 超参说明 超参 说明 学习率 影响模型收敛程度,决定了模型在每次更新权重时所采用的步长。学习率过高,模型可能会过度调整权重,导致不稳定的
Server资源使用。 资源管理 Lite Server提供启动、停止、切换操作系统等管理手段,您可在ModelArts控制台上对资源进行管理。 表1 相关名词解释 名词 含义 裸金属服务器 裸金属服务器是一款兼具虚拟机弹性和物理机性能的计算类服务,为您和您的企业提供专属的云上物理服务器
ASCEND_GLOBAL_LOG_LEVEL=1 # 0:表示DEBUG、1:表示INFO、2:表示WARNING、3:表示ERROR 4: 表示NONE export ASCEND_SLOG_PRINT_TO_STDOUT=1 # 表示日志打印。 设置DUMP模型转换中间图。 设置DUMP中间图环境变量。
CarbonData:Carbon格式(仅表格数据集支持) data_sources 是 Array of DataSource objects 数据集输入位置,用于将此目录及子目录下的源数据(如图片/文件/音频等)同步到数据集。对于表格数据集,该参数为导入目录。表格数据集的工作目录不支持为K
Notebook 界面提示成功创建分享后,返回至AI Gallery,进入示例的详情页面查看示例。 进入AI Gallery首页。选择“项目”,进入项目列表页面。 在搜索框中输入创建好的Notebook名称,单击页签进入详情页。 编辑资产详情 资产发布成功后,发布者可以进入详情页修改该资产的名称
准备训练模型适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest-2.myhuaweicloud.com/a
准备训练模型适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest-2.myhuaweicloud.com/a
扩展存储列表,如表4所示。扩展存储当前仅支持type为“obsfs”的类型,且仅对部分专属资源池开放。 storage Object 存储路径。表4 credential Object 访问OBS的AK/SK。表30 repository Object Git仓库信息,如表28所示