检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
析速度。 7 output_path /home/ma-user/work 否 advisor分析结果输出路径,包含html和xlsx两个文件。 如果您想修改参数配置,可以点开Advanced Settings选项开关,然后对参数进行新增或修改。界面参考下图。 图7 修改高级参数
准备工作 准备资源 本教程案例是基于ModelArts Standard运行,需要购买ModelArts专属资源池。 准备权重 准备对应模型的权重文件。 准备代码 准备AscendCloud-6.3.906-xxx.zip。 准备镜像 准备推理模型适用的容器镜像。 准备Notebook
baichuan2-13b 训练支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
如果训练作业使用的是预置框架: 在创建训练作业时,“创建方式”选择“自定义算法”,“启动方式”选择“预置框架”,代码目录中新增sleep.py并将此脚本作为“启动文件”。这样启动的作业将会持续运行60分钟。您可通过Cloud Shell进入容器进行调试。 sleep.py示例: import os os
制4096G。 category String 支持的存储类型。不同存储类型的差异,详见开发环境中如何选择存储。枚举值如下: SFS:弹性文件服务 EVS:云硬盘 mount_path String 存储挂载至Notebook实例的目录,当前固定在/home/ma-user/work/下。
请准备好训练脚本,并上传至OBS目录。训练脚本开发指导参见开发用于预置框架训练的代码。 在训练代码中,用户需打印搜索指标参数。 已在OBS创建至少1个空的文件夹,用于存储训练输出的内容。 由于训练作业运行需消耗资源,确保账户未欠费。 确保您使用的OBS目录与ModelArts在同一区域。 创建算法
peft版本升级到0.12.0 训练支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
peft版本升级到0.12.0 训练支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
sft(指令微调) √ √ 训练支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
、minicpm、qwen-vl、internvl2、qwen2-vl、llava-onevision。 OUTPUT_NAME:输出结果文件名称, 默认llava。 ASCEND_RT_VISIBLE_DEVICES:表示支持多个模型服务实例,同时支持模型并行,如 0,1:2,3
String 存储类型,当前支持“obs”、“obsfs” 和“evs”,其中,obsfs类型当前仅支持部分专属资源池。若您需要挂载OBS并行文件系统,请提工单。 location 否 Object 存储位置,如果type为“obs”类型,该参数必须填写,如表15所示数据结构,如缺省值为“NULL”。
制4096G。 category String 支持的存储类型。不同存储类型的差异,详见开发环境中如何选择存储。枚举值如下: SFS:弹性文件服务 EVS:云硬盘 mount_path String 存储挂载至Notebook实例的目录,当前固定在/home/ma-user/work/下。
baichuan2-13b 训练支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
sft(指令微调) √ √ 训练支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
跳转到基于该自定义镜像创建Notebook的页面。 镜像保存时,哪些目录的数据可以被保存 可以保存的目录:包括容器构建时静态添加到镜像中的文件和目录,可以保存在镜像环境里。 例如:安装的依赖包、“/home/ma-user”目录 不会被保存的目录:容器启动时动态连接到宿主机的挂载
跳转到基于该自定义镜像创建Notebook的页面。 镜像保存时,哪些目录的数据可以被保存 可以保存的目录:包括容器构建时静态添加到镜像中的文件和目录,可以保存在镜像环境里。 例如:安装的依赖包、“/home/ma-user”目录 不会被保存的目录:容器启动时动态连接到宿主机的挂载
Integer 是否删除标签及包含标签的样本。可选值如下: 0:只删除标签 1:删除标签及包含标签的样本 2:删除标签和包含标签的样本及其源文件 请求参数 表3 请求Body参数 参数 是否必选 参数类型 描述 labels 否 Array of Label objects 待删除标签列表。
制4096G。 category String 支持的存储类型。不同存储类型的差异,详见开发环境中如何选择存储。枚举值如下: SFS:弹性文件服务 EVS:云硬盘 mount_path String 存储挂载至Notebook实例的目录,当前固定在/home/ma-user/work/下。
制4096G。 category String 支持的存储类型。不同存储类型的差异,详见开发环境中如何选择存储。枚举值如下: SFS:弹性文件服务 EVS:云硬盘 mount_path String 存储挂载至Notebook实例的目录,当前固定在/home/ma-user/work/下。
其中“DDP”为创建训练作业时的“代码目录”,“main.py”为上文代码示例(即创建训练作业时的“启动文件”),“cifar-10-batches-py”为解压后的数据集文件夹(放在input_dir文件夹下)。 如果使用自定义的随机数据,则将代码示例中的参数“custom_data”改为“true”,修改后内容如下: