检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ORIGINAL_HF_WEIGHT /home/ma-user/ws/model/llama2-70B 必须修改。加载tokenizer与Hugging Face权重时,对应的存放地址。请根据实际规划修改。 SHELL_FOLDER $(dirname $(readlink -f "$0")) 表示执行脚本时的路径。
model_name_or_path /home/ma-user/ws/tokenizers/Qwen2-72B 必须修改。加载tokenizer与Hugging Face权重时,对应的存放绝对或相对路径。请根据实际规划修改。 do_train true 指示脚本执行训练步骤,用来控制是否进行模型训练的。如
model_name_or_path /home/ma-user/ws/tokenizers/Qwen2-72B 必须修改。加载tokenizer与Hugging Face权重时,对应的存放绝对或相对路径。请根据实际规划修改。 do_train true 指示脚本执行训练步骤,用来控制是否进行模型训练的。如
model_name_or_path /home/ma-user/ws/tokenizers/Qwen2-72B 必须修改。加载tokenizer与Hugging Face权重时,对应的存放绝对或相对路径。请根据实际规划修改。 do_train true 指示脚本执行训练步骤,用来控制是否进行模型训练的。如
model_name_or_path /home/ma-user/ws/tokenizers/Qwen2-72B 必须修改。加载tokenizer与Hugging Face权重时存放目录绝对或相对路径。请根据实际规划修改。 template qwen 必须修改。用于指定模板。如果设置为"qwen",则使用Q
历史待下线案例 使用AI Gallery的订阅算法实现花卉识别 使用ModelArts PyCharm插件调试训练ResNet50图像分类模型 示例:从 0 到 1 制作自定义镜像并用于训练(PyTorch+CPU/GPU) 示例:从 0 到 1 制作自定义镜像并用于训练(MPI+CPU/GPU)
model_name_or_path /home/ma-user/ws/model/Qwen2-72B 必须修改。加载tokenizer与Hugging Face权重时,对应的存放绝对或相对路径。请根据实际规划修改 adapter_name_or_path /home/ma-user/ws/xxx/sft_lora/
/home/ma-user/ws/llm_train/AscendFactory/model/llama2-70B 【必修改】加载tokenizer与Hugging Face权重时,对应的存放地址。请根据实际规划修改。 output_dir /home/ma-user/ws/save_dir 【必修改】训练任务结束生成日志及权重文件目录
Standard模型训练 使用ModelArts Standard自定义算法实现手写数字识别 基于ModelArts Standard运行GPU训练作业
ModelArts入门指引 本文旨在帮助您了解ModelArts的基本使用流程以及相关的常见问题,帮助您快速上手ModelArts服务。 面向不同AI基础的开发者,本文档提供了相应的入门教程,帮助用户更快速地了解ModelArts的功能,您可以根据经验选择相应的教程。 面向AI开
使用AppCode认证鉴权方式进行在线预测 场景描述 APPcode认证是一种简易的API调用认证方式,通过在HTTP请求头中添加参数X-Apig-AppCode来实现身份认证,无需复杂的签名过程,适合于客户端环境安全可控的场景,如内网系统之间的API调用。在ModelArts中
查看诊断报告 Advisor分析profiling会输出html和xlsx两份文件。请优先查看html报告进行训练作业性能调优。xlsx中记录了html中全量数据,如集群计算、通信和下发的耗时,可以基于xlsx对计算耗时、下发耗时和带宽等列进行排序,从而快速过滤出计算慢卡、下发慢卡、带宽最小卡。
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书 安全边界
数据标注场景介绍 由于模型训练过程需要大量有标签的数据,因此在模型训练之前需对没有标签的数据添加标签。您可以通过创建单人标注作业或团队标注作业对数据进行手工标注,或对任务启动智能标注添加标签,快速完成对图片的标注操作,也可以对已标注图片修改或删除标签进行重新标注。 ModelArts为用户提供了标注数据的能力:
训练物体检测模型 自动学习物体检测项目,在图片标注完成后,通过模型训练得到合适的模型版本。 操作步骤 在新版自动学习页面,单击项目名称进入运行总览页面,单击“数据标注”节点的“实例详情”进入数据标注页面,完成数据标注。 图1 完成数据标注 返回新版自动学习页面,单击数据标注节点的
训练声音分类模型 完成音频标注后,可以进行模型的训练。模型训练的目的是得到满足需求的声音分类模型。由于用于训练的音频,至少有2种以上的分类,每种分类的音频数不少于5个。 操作步骤 在开始训练之前,需要完成数据标注,然后再开始模型的自动训练。 在新版自动学习页面,单击项目名称进入运
训练图像分类模型 完成图片标注后,可进行模型的训练。模型训练的目的是得到满足需求的图像分类模型。请参考前提条件确保已标注的图片符合要求,否则数据集校验将会不通过。 前提条件 请确保您的数据集中的已标注的图片不低于100张。 请确保您的数据集中至少存在2种以上的图片分类,且每种分类的图片不少于5张。
预测API的域名停用公告 华为云ModelArts将于2024年12月31日 00:00(北京时间)逐步停用预测API的域名huaweicloudapis.com,后续预测API切换使用新域名modelarts-infer.com。 停用范围 影响区域:华为云全部Region 停用影响
训练文本分类模型 完成数据标注后,可进行模型的训练。模型训练的目的是得到满足需求的文本分类模型。由于用于训练的文本,至少有2种以上的分类(即2种以上的标签),每种分类的文本数不少于20个。因此在单击“继续运行”按钮之前,请确保已标注的文本符合要求。 操作步骤 在新版自动学习页面,
训练预测分析模型 创建自动学习后,将会进行模型的训练,得到预测分析的模型。模型部署步骤将使用预测模型发布在线预测服务。 操作步骤 在新版自动学习页面,单击创建成功的项目名称,查看当前工作流的执行情况。 在“预测分析”节点中,待节点状态由“运行中”变为“运行成功”,即完成了模型的自动训练。