检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
&& \ chmod 770 /root && \ usermod -a -G root ma-user 其他现象,可以在已有的训练故障案例查找。 建议与总结 用户使用自定义镜像训练作业时,建议按照训练作业自定义镜像规范制作镜像。文档中同时提供了端到端的示例供用户参考。 父主题: 训练作业运行失败
在“文本分类”节点中,待训练状态由“运行中”变为“运行成功”,即完成模型的自动训练。 图2 运行成功 训练完成后,您可以单击文本分类节点上方的按钮,查看相关指标信息,如“准确率”、“评估结果”等。评估结果参数说明请参见表1。 图3 模型评估报告 表1 评估结果参数说明 参数 说明 recall:召回率
在“图像分类”节点中,待训练状态由“运行中”变为“运行成功”,即完成了模型的自动训练。 训练完成后,您可以单击“图像分类”节点上方的按钮,查看相关指标信息,如“准确率”、“评估结果”等。评估结果参数说明请参见表1。 图1 模型评估报告 表1 评估结果参数说明 参数名称 参数含义 说明
在弹出的“添加团队”对话框中,填写团队“名称”和“描述”,然后单击“确定”。完成标注团队的添加。 团队添加完成后,“标注团队”管理页面呈现新添加的团队,在页面右侧区域,可以查看团队详情。新添加的团队,其成员列表为空,请参考添加成员操作,为您的团队添加成员。 添加成员 在ModelArts管理控制台左侧导航栏中,选
执行训练启动命令后,等待模型载入,当出现“training”关键字时,表示开始训练。训练过程中,训练日志会在最后的Rank节点打印。 图1 等待模型载入 最后,请参考查看日志和性能章节查看预训练的日志和性能。 父主题: 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6.3
scripts/llama2/0_pl_sft_13b.sh 或者: sh scripts/llama2/0_pl_sft_13b.sh 最后,请参考查看日志和性能章节查看SFT微调的日志和性能。 父主题: 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6
scripts/llama2/0_pl_lora_13b.sh 或者: sh scripts/llama2/0_pl_lora_13b.sh 最后,请参考查看日志和性能章节查看LoRA微调的日志和性能。 父主题: 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6
行以下命令构建自定义镜像“test:v1”。 docker build -t test:v1 . 您可以使用“docker images”查看您构建的自定义镜像。 本地验证镜像并上传镜像至SWR服务 在本地环境执行以下命令启动自定义镜像 docker run -it -p 8080:8080
管理工作空间配额 工作空间创建成功后,可以查看配额信息或修改配额值。 在ModelArts管理控制台的左侧导航栏中,选择“工作空间”进入工作空间列表。 在工作空间列表,单击操作列的“配额管理”进入工作空间详情页。 在配额信息页面可以查看工作空间设置的配额值、已用的配额、最后修改时间等配额信息。
的“可用”和“总数”值大于0时,资源池才能下发任务。 可以将鼠标放在“创建中”字样上,查看当前创建过程详情。如果单击查看详情,可跳转到“操作记录”中。 可以在资源池列表左上角“操作记录”中查看资源池的任务记录。 常见问题 创建专属资源池时,能选到规格但最终创建时发生报错,提示无可用资源?
it”的ID码。 确认创建Notebook实例使用的镜像的系统架构,可以在Notebook中打开Terminal,通过命令uname -m查看。 下载对应版本的vscode-server,根据Commit码和Notebook实例镜像架构下载。 如果下载报错“Not Found”,请下载别的版本VS
示例: "modelarts:notebook:list":表示查看Notebook实例列表权限,其中modelarts为服务名,notebook为资源类型,list为操作。 您可以在对应服务“API参考”资料中查看该服务所有授权项。 Condition:条件 使策略生效的特定条件,包括条件键和运算符。
3指使用0-3卡执行训练任务。 训练成功标志 “***** train metrics *****”关键字打印 训练完成后,请参考查看日志和性能章节查看指令微调的日志和性能。 如训练过程中遇到“NPU out of memory”“Permission denied” 问题可参考 附录:训练常见问题解决。
模型推理代码customize_service.py编写有问题 如果模型推理代码customize_service.py编写有误,可以通过查看服务运行日志,定位具体原因进行修复。 拉取镜像失败 服务启动失败,提示拉取镜像失败,请参考服务部署、启动、升级和修改时,拉取镜像失败如何处理?
作业日志选择OBS中的路径,训练作业的日志信息则保存该路径下。 最后,提交训练作业,训练完成后,请参考查看日志和性能章节查看SFT微调的日志和性能。了解更多ModelArts训练功能,可查看模型开发简介。 父主题: 执行训练任务
如果用户有自定义开发的需要,比如查看和编辑代码、数据预处理、权重转换等操作,可通过Notebook环境进行,并且Notebook环境具有一定的存储空间,可与OBS中的数据相互传递。 训练 预训练/微调 介绍如何进行预训练,包括训练数据处理、超参配置、创建训练任务及性能查看。 父主题: 主流开
登录ModelArts管理控制台,在左侧菜单栏中选择“AI专属资源池 > 弹性集群 Cluster”,在“弹性集群”页面,选择“Lite资源池”页签,查看资源池列表。 在资源池列表中,选择需要进行驱动升级的资源池“ > 驱动升级”。 图1 驱动升级 在“驱动升级”弹窗中,会显示当前专属资源池
ard”属性中数据信息。 图1 导入manifest文件 导入成功后,数据将自动同步到数据集中。您可以在“数据集”页面,单击数据集的名称,查看详细数据,并可以通过创建标注任务进行数据标注。 文件型数据标注状态 数据标注状态分为“未标注”和“已标注”。 未标注:仅导入标注对象(指待
Administrator权限。 Tenant Administrator 可选 CES云监控 授予子账号使用CES云监控服务的权限。通过CES云监控可以查看ModelArts的在线服务和对应模型负载运行状态的整体情况,并设置监控告警。 CES FullAccess 可选 SMN消息服务 授予子
3指使用0-3卡执行训练任务。 训练成功标志 “***** train metrics *****”关键字打印 训练完成后,请参考查看日志和性能章节查看指令微调的日志和性能。 1、如训练过程中遇到“NPU out of memory”“Permission denied” 问题可参考