检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题: 主流开源大模型基于Standard+OBS适配ModelLink PyTorch NPU训练指导(6.3.908)
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题: 主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导(6.3.907)
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题: 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6.3.907)
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题: 主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU训练指导(6.3.911)
训练的小模型进行eagle推理。 步骤一:安装Eagle Eagle训练适配代码存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools/spec_decode/EAGLE目录下。 在目录下执行如下命令,即可安装 EAGLE。 bash build.sh
训练的小模型进行eagle推理。 步骤一:安装Eagle Eagle训练适配代码存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools/spec_decode/EAGLE目录下。 在目录下执行如下命令,即可安装 EAGLE。 bash build.sh
本地运行的启动方式: init_or_rescheduled:代表本次启动为被调度后的首次运行,包括初次启动及调度恢复后的运行。 restarted:代表本次启动非被调度后的首次运行,为进程重启后的运行。 end_reason String 本次运行结束原因。 end_related_task
训练脚本说明参考 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题: 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6.3.909)
准备模型训练代码 预置框架启动文件的启动流程说明 开发用于预置框架训练的代码 开发用于自定义镜像训练的代码 自定义镜像训练作业配置节点间SSH免密互信 父主题: 使用ModelArts Standard训练模型
合作伙伴 注册伙伴 发布解决方案 父主题: AI Gallery(旧版)
Lite Server资源使用 LLM/AIGC/数字人基于Server适配NPU的训练推理指导 GPT-2基于Server适配PyTorch GPU的训练推理指导
Lite Cluster资源使用 在Lite Cluster资源池上使用Snt9B完成分布式训练任务 在Lite Cluster资源池上使用ranktable路由规划完成Pytorch NPU分布式训练 在Lite Cluster资源池上使用Snt9B完成推理任务
Studio左侧导航栏中,选择“模型部署”进入服务列表。 进入体验页面。 在“预置服务”页签,单击操作列“体验”,进入体验页面。 在“我的服务”页签,单击操作列“更多 > 体验”,进入体验页面。 在“模型体验”右上角,单击“参数设置”,拖动或直接输入数值配置推理参数。单击“恢复默认”可以将参数值调回默认值。
等放到work路径下,不要放到非work路径下。 请不要将实例频繁保存镜像,建议一次将需要的安装包安装好,然后执行镜像保存,避免频繁执行镜像保存的动作,保存次数越多镜像越大,且多次保存后的镜像过大问题无法通过清理磁盘方式减少镜像的大小(Docker保存原理机制)。 父主题: Standard镜像相关
表1 路径参数 参数 是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 annotation_format
ning_job_id}/tags/delete 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 training_job_id 是 String 训练作业ID。获取方法请参见查询训练作业列表。
ILE表示作业的配置文件路径,如果不指定该参数,则表示配置文件为空。配置文件是一个YAML格式的文件,里面的参数就是命令的option参数。此外,如果用户在命令行中同时指定YAML_FILE配置文件和option参数,命令行中指定的option参数的值将会覆盖配置文件相同的值。 $ma-cli
图片宽度(分辨率相关参数)。 --served-model-name: 选择性添加,在接口中使用的模型名;如果没有配置,则默认为tokenizer。 备注:当前版本仅支持语言+图片多模态性能测试。 脚本运行完成后,测试结果保存在benchmark_parallel.csv中。 父主题: 推理性能测试
图片宽度(分辨率相关参数)。 --served-model-name: 选择性添加,在接口中使用的模型名;如果没有配置,则默认为tokenizer。 备注:当前版本仅支持语言+图片多模态性能测试。 脚本运行完成后,测试结果保存在benchmark_parallel.csv中。 父主题: 推理性能测试
图片宽度(分辨率相关参数)。 --served-model-name: 选择性添加,在接口中使用的模型名;如果没有配置,则默认为tokenizer。 备注:当前版本仅支持语言+图片多模态性能测试。 脚本运行完成后,测试结果保存在benchmark_parallel.csv中。 父主题: 推理性能测试