检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备训练模型适用的容器镜像。 预训练 预训练 介绍如何进行预训练,包括训练数据处理、超参配置、训练任务、性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调、超参配置、训练任务、性能查看。 LoRA微调训练 介绍如何进行LoRA微调、超参配置、训练任务、性能查看。 父主题:
准备训练模型适用的容器镜像。 预训练 预训练 介绍如何进行预训练,包括训练数据处理、超参配置、训练任务、性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调、超参配置、训练任务、性能查看。 LoRA微调训练 介绍如何进行LoRA微调、超参配置、训练任务、性能查看。 父主题:
ModelArts的大部分权限管理能力均基于统一身份认证服务(Identity and Access Management,简称IAM)来实现,在您继续往下阅读之前,强烈建议您先行熟悉IAM基本概念,如果能完整理解IAM的所有概念,将更加有助于您理解本文档。 为了支持用户对Mod
准备训练模型适用的容器镜像。 预训练 预训练 介绍如何进行预训练,包括训练数据处理、超参配置、训练任务、性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调、超参配置、训练任务、性能查看。 LoRA微调训练 介绍如何进行LoRA微调、超参配置、训练任务、性能查看。 父主题:
-s / --service String 否 注册镜像的服务类型,NOTEBOOK或者MODELBOX,默认是NOTEBOOK。 可以输入多个值,如-s NOTEBOOK -s MODELBOX。 -rs / --resource-category String 否 注册镜像能够使用的资源类型,默认是CPU和GPU。
训练创建新的作业。 旧版训练管理是否停止新购? 是的,旧版训练管理将于2023年6月30日 00:00(北京时间)正式退市。 旧版训练管理如何升级到新版训练? 请参考新版训练指导文档(模型训练)来体验新版训练。 旧版训练迁移至新版训练需要注意哪些问题? 新版训练和旧版训练的差异主
Lite的基础功能和用法。 图6 ResNet50模型迁移到Ascend上进行推理 Stable Diffusion模型迁移到Ascend上进行推理:介绍如何将Stable Diffusion模型通过MSLite进行转换后,迁移在昇腾设备上运行。 图7 Stable Diffusion模型迁移到Ascend上进行推理
可选项。用于指定DeepSpeed的配置文件相对或绝对路径。DeepSpeed是一个开源库,用于加速深度学习训练。通过使用DeepSpeed,可以实现如混合精度训练、ZeRO内存优化等高级特性,以提高训练效率和性能 stage sft 表示训练类型。可选择值:[pt、sf、rm、ppo]
10,可以接受切换MindSpore。 - 业务编程语言、框架、版本。 C++/Python/JAVA等。 例如:业务逻辑使用JAVA,推理服务模块使用C++自定义实现推理框架,Python 3.7等。 - CPU使用率 业务中是否有大量使用CPU的代码,以及日常运行过程中CPU的占用率(占用多少个核心)
业,提高训练成功率。为了避免丢失训练进度、浪费算力。此功能已适配断点续训练。 图3 开启故障重启 断点续训练是通过checkpoint机制实现。checkpoint机制是在模型训练的过程中,不断地保存训练结果(包括但不限于EPOCH、模型权重、优化器状态、调度器状态)。即便模型训
业,提高训练成功率。为了避免丢失训练进度、浪费算力。此功能已适配断点续训练。 图2 开启故障重启 断点续训练是通过checkpoint机制实现。checkpoint机制是在模型训练的过程中,不断地保存训练结果(包括但不限于EPOCH、模型权重、优化器状态、调度器状态)。即便模型训
文件删除后不可恢复,请谨慎操作。 管理数据集可用范围 仅当发布数据集时,“可用范围”启用“申请用户可用”时,才支持管理数据集的可用范围。管理操作包含如何添加可使用资产的新用户、如何审批用户申请使用资产的请求。 添加可使用资产的新用户。 数据集发布成功后,如果数据集所有者要新增可使用资产的新用户,则可以在数据集详情页添加新用户。
Boolean 是否可编辑。 required 否 Boolean 是否必须。 sensitive 否 Boolean 是否敏感。该功能暂未实现。 valid_type 否 String 有效种类。 valid_range 否 Array of strings 有效范围。 表7 I18nDescription
业,提高训练成功率。为了避免丢失训练进度、浪费算力。此功能已适配断点续训练。 图2 开启故障重启 断点续训练是通过checkpoint机制实现。checkpoint机制是在模型训练的过程中,不断地保存训练结果(包括但不限于EPOCH、模型权重、优化器状态、调度器状态)。即便模型训
业,提高训练成功率。为了避免丢失训练进度、浪费算力。此功能已适配断点续训练。 图2 开启故障重启 断点续训练是通过checkpoint机制实现。checkpoint机制是在模型训练的过程中,不断地保存训练结果(包括但不限于EPOCH、模型权重、优化器状态、调度器状态)。即便模型训
业,提高训练成功率。为了避免丢失训练进度、浪费算力。此功能已适配断点续训练。 图2 开启故障重启 断点续训练是通过checkpoint机制实现。checkpoint机制是在模型训练的过程中,不断地保存训练结果(包括但不限于EPOCH、模型权重、优化器状态、调度器状态)。即便模型训
业,提高训练成功率。为了避免丢失训练进度、浪费算力。此功能已适配断点续训练。 图3 开启故障重启 断点续训练是通过checkpoint机制实现。checkpoint机制是在模型训练的过程中,不断地保存训练结果(包括但不限于EPOCH、模型权重、优化器状态、调度器状态)。即便模型训
、2_convert_mg_hf.sh中的具体python指令,并在Notebook环境中运行执行。用户可通过Notebook中创建.ipynb文件,并编辑以下代码可实现Notebook环境中的数据与OBS中的数据进行相互传递。 import moxing as mox # OBS存放数据路径 obs_data_dir=
Boolean 是否可编辑。 required 否 Boolean 是否必须。 sensitive 否 Boolean 是否敏感。该功能暂未实现。 valid_type 否 String 有效种类。 valid_range 否 Array of strings 有效范围。 表7 I18nDescription
otebook。 部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境,部署并启动推理服务,完成精度测试和性能测试。 在推理生产环境中部署推理服务 介绍如何在创建AI应用,部署并启动推理服务,在线预测在线服务。 父主题: 主流开源大模