检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
计算过程如下: 创建自动学习项目时,无法直接选择专属资源池。可在项目创建成功后,进入自动学习详情页,然后单击右上角“配置”,在“Workflow配置 > 资源配置”中,选择使用专属资源池。 存储费用:自动学习作业的数据通过对象存储服务(OBS)上传或导出,存储计费按照OBS的计费规则。
明和训练的数据集预处理说明。 步骤2 修改训练超参配置 以Llama2-70b和Llama2-13b的SFT微调为例,执行脚本为0_pl_sft_70b.sh 和 0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均有默认值,可以参考表1按照实际需求修改。
Notebook开发环境与华为云大数据服务DLI中的Spark引擎相连接,让数据工程师能便捷地使用Notebook进行大数据开发,以及如何在DataArts Studio服务配置Notebook文件定时调度任务。 白名单
OBS服务操作权限。 请参考OBS权限管理,为当前IAM用户配置“作用范围”为“全局级服务”的“Tenant Administrator”策略,即拥有OBS服务所有操作权限。 如果需要限制此IAM用户操作,仅为此用户配置OBS相关的最小化权限项,具体操作请参见创建ModelArts自定义策略。
1版本之前可能出现的调优不生效的场景,建议您直接使用MindSpore Lite Convertor2.1及以后的版本。配置文件指定选项进行AOE调优。使用转换工具配置config参数,具体如下所示,其中“subgraph tuning”表示子图调优,“operator tuning”表示算子调优。
在创建训练作业前,推荐您先使用ModelArts开发环境调试训练代码,避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE(Pycharm或者VSCode)联接云上环境调试请参考使用本地IDE开发模型。 父主题: OBS操作相关故障
数据集预处理说明。 Step2 修改训练超参配置 以llama2-70b和llama2-13b预训练为例,执行脚本为0_pl_pretrain_70b.sh 和0_pl_pretrain_13b.sh 。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均有默认值,可以参考表1按照实际需求修改。
训练的数据集预处理说明。 Step2 修改训练超参配置 以Llama2-70b和Llama2-13b的LoRA微调为例,执行脚本为0_pl_lora_70b.sh和0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均有默认值,可以参考表1按照实际需求修改。
configuration中选择Python File,其他语言操作类似。如下图所示: 步骤三:编辑launch.json,增加justMyCode": false配置,如下所示。 { "version": "0.2.0", "configurations":
预置工作流生成指定场景模型,无需深究底层模型开发细节。ModelArts PRO底层依托ModelArts平台提供数据标注、模型训练、模型部署等能力。也可以理解为增强版的自动学习,提供行业AI定制化开发套件,沉淀行业知识,让开发者聚焦自身业务。 父主题: Standard自动学习
历史API 数据管理(旧版) 开发环境(旧版) 训练管理(旧版)
在创建训练作业前,推荐您先使用ModelArts开发环境调试训练代码,避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE(Pycharm或者VSCode)联接云上环境调试请参考使用本地IDE开发模型。 父主题: 业务代码问题
在创建训练作业前,推荐您先使用ModelArts开发环境调试训练代码,避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE(Pycharm或者VSCode)联接云上环境调试请参考使用本地IDE开发模型。 父主题: 业务代码问题
选择完成后,单击“确定”。 数据准备完成后,单击“下一步”进入“作业设置”环节。 设置并启动作业 在微调工作流的“作业设置”环节配置训练作业参数。 算法配置,会显示已选模型的信息,基于已选模型选择微调方式。 当“训练任务类型”是“文本问答”或“文本生成”时,AI Gallery支持的微调方式是LoRA。
可能影响ModelArts侧基本功能,包括但不限于资源池管理、节点管理、扩缩容、驱动升级等。 高 不可恢复。 节点 退订、移除、关机、污点管理、切换/重装操作系统等。 可能影响ModelArts侧基本功能,包括但不限于节点管理、扩缩容、驱动升级、带本地盘机型的本地盘数据丢失等。 高
训练作业:用户在运行训练作业时,可以查看多个计算节点的CPU、GPU、NPU资源使用情况。具体请参见训练资源监控章节。 在线服务:用户将模型部署为在线服务后,可以通过监控功能查看CPU、内存、GPU等资源使用统计信息和模型调用次数统计,具体参见查看服务详情章节。 父主题: ModelArts
在创建训练作业前,推荐您先使用ModelArts开发环境调试训练代码,避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE(Pycharm或者VSCode)联接云上环境调试请参考使用本地IDE开发模型。 父主题: OBS操作相关故障
在创建训练作业前,推荐您先使用ModelArts开发环境调试训练代码,避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE(Pycharm或者VSCode)联接云上环境调试请参考使用本地IDE开发模型。 父主题: 业务代码问题
在创建训练作业前,推荐您先使用ModelArts开发环境调试训练代码,避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE(Pycharm或者VSCode)联接云上环境调试请参考使用本地IDE开发模型。 父主题: 云上迁移适配故障
在创建训练作业前,推荐您先使用ModelArts开发环境调试训练代码,避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE(Pycharm或者VSCode)联接云上环境调试请参考使用本地IDE开发模型。 父主题: 云上迁移适配故障