检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资源和引擎规格接口 查询作业资源规格 查询作业引擎规格 父主题: 训练管理(旧版)
导入任务管理 查询导入任务列表 创建导入任务 查询导入任务状态 父主题: 数据管理
/home/ma-user/ws/processed_for_ma_input/llama2-13b/converted_weights_TP${TP}PP${PP} 目录下查看转换后的权重文件。 Megatron转HuggingFace参数说明 训练完成的权重文件默认不会自动转换为Hugging Face格式权重
k已创建并启动完成。 如果创建Notebook启动失败,建议参考调试要点进行检查。 在Notebook列表,单击实例名称,进入实例详情页,查看Notebook实例配置信息。 挂载OBS并行文件系统:在Notebook实例详情页面,选择“存储配置”页签,单击“添加数据存储”,设置挂载参数。
AI应用管理 查询模型runtime 查询AI应用列表 创建AI应用 查询AI应用详情 删除AI应用
训练作业 创建训练作业 训练作业调测 查询训练作业列表 查询训练作业详情 更新训练作业描述 删除训练作业 终止训练作业 查询训练日志 查询训练作业的运行指标 父主题: 训练管理
obs:object:DeleteObject √ √ 查询数据集的统计信息 GET /v2/{project_id}/datasets/{dataset_id}/data-annotations/stats modelarts:dataset:get - √ √ 查询数据集监控数据 GET /v2/{
配的情况。 如果上述方法还出现了错误,可以去notebook里面调试打印CUDA_VISIBLE_DEVICES变量,或者用以下代码测试,查看结果是否返回的是True。 import torch torch.cuda.is_available() 建议与总结 在创建训练作业前,推
其他参数请根据界面提示填写。 设置完成后,单击“确定”,即进行增量训练。系统将自动跳转至“模型训练”页面,待训练完成后,您可以在此页面中查看训练详情,如“训练精度”、“评估结果”、“训练参数”等。 图1 选择增量训练版本 父主题: Standard自动学习
数据集管理 查询数据集列表 创建数据集 查询数据集详情 更新数据集 删除数据集 父主题: 数据管理
timestamp.jpg 查看数据集演进过程 登录ModelArts管理控制台,在左侧菜单栏中选择“资产管理>数据集”,进入“数据集”管理页面。 在数据集列表中,单击操作列的“更多 > 版本管理”,进入数据集“版本管理”页面。 您可以查看数据集的基本信息,并在左侧查看版本演进信息及其发布时间。
作业日志选择OBS中的路径,ModelArts的训练作业的日志信息则保存该路径下。 最后,请参考查看日志和性能章节查看LoRA微调的日志和性能。了解更多ModelArts训练功能,可查看模型开发简介。 父主题: 主流开源大模型基于Standard+OBS+SFS适配ModelLink
作业日志选择OBS中的路径,ModelArts的训练作业的日志信息则保存该路径下。 最后,请参考查看日志和性能章节查看LoRA微调的日志和性能。了解更多ModelArts训练功能,可查看模型开发简介。 父主题: 主流开源大模型基于Standard+OBS+SFS适配ModelLink
作业日志选择OBS中的路径,ModelArts的训练作业的日志信息则保存该路径下。 最后,请参考查看日志和性能章节查看LoRA微调的日志和性能。了解更多ModelArts训练功能,可查看模型开发简介。 父主题: 主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导(6
作业日志选择OBS中的路径,ModelArts的训练作业的日志信息则保存该路径下。 最后,请参考查看日志和性能章节查看LoRA微调的日志和性能。了解更多ModelArts训练功能,可查看模型开发简介。 父主题: 主流开源大模型基于Standard+OBS+SFS适配ModelLink
NPUS_PER_NODE=4 sh scripts_modellink/llama2/0_pl_sft_7b.sh 最后,请参考查看日志和性能章节查看SFT微调的日志和性能。 父主题: 执行训练任务
作业日志选择OBS中的路径,ModelArts的训练作业的日志信息则保存该路径下。 最后,请参考查看日志和性能章节查看LoRA微调的日志和性能。了解更多ModelArts训练功能,可查看模型开发简介。 父主题: 主流开源大模型基于Standard+OBS+SFS适配ModelLink
开发环境(旧版) 创建开发环境实例 查询开发环境实例列表 查询开发环境实例详情 更新开发环境实例信息 删除开发环境实例 管理开发环境实例 父主题: 历史API
任务提交成功后,单击“查看服务详情”,等待服务状态变为“运行中”时,表示服务部署成功。预计时长4分钟左右。 图3 服务部署成功 步骤四:预测结果 在线服务部署完成后,单击“预测”页签。 在“预测”页签,单击“上传”,上传一个测试图片,单击“预测”查看预测结果。此处提供一个样例图片供预测使用。
processed_for_ma_input/llama2-13b/converted_weights_TP${TP}PP${PP}目录下查看转换后的权重文件。 Megatron转HuggingFace参数说明 训练完成的权重文件默认不会自动转换为Hugging Face格式权重