检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据盘:部分规格支持“添加普通数据盘”,挂载多个数据盘到资源池中。支持设置数据盘的“磁盘类型”、“大小”和“数量”。 数据盘高级配置:部分规格支持在数据盘高级配置参数中设置数据盘的挂载方式,具体如下: 默认:仅是将云硬盘挂载到资源池上,未对挂载的云硬盘做任何处理,比如分区等。 挂载到指定目录:支
历史API 数据管理(旧版) 开发环境(旧版) 训练管理(旧版)
erver资源。 准备代码 准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据,可以用本案使用的数据集,也可以使用自己准备的数据集。 准备镜像 准备训练模型适用的容器镜像。 训练 启动训练 介绍各个训练阶段:指令微调、PPO强化训练、
String 训练作业需要的数据集OBS路径URL,默认为空。如:“/usr/data/”。不可与data_source或者dataset_id/dataset_version_id同时出现,但必须有其一。 dataset_id 否 String 训练作业的数据集ID。应与datase
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题: 主流开源大模型基于Lite Cluster适配PyTorch NPU训练指导(6.3.909)
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题: 主流开源大模型基于DevServer适配PyTorch NPU训练指导(6.3.906)
训练脚本说明参考 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题: 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6.3.908)
准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据,可以用本案使用的数据集,也可以使用自己准备的数据集。 准备镜像 准备训练模型适用的容器镜像。 预训练 预训练 介绍如何进行预训练,包括训练数据处理、超参配置、训练任务、性能查看。 微调训练 SFT全参微调
获得更适合特定领域或任务的大语言模型。 在MaaS中创建模型 3 模型调优 完成数据集的准备后,可以在ModelArts Studio大模型即服务平台开始模型调优。模型调优,即使用训练数据集和验证数据集训练模型。 使用MaaS调优模型 模型压缩 在ModelArts Studio
Studio(MAAS) 对象存储(系统盘和数据盘) 计费因子:存储容量、存储类型和时长收费。 按需计费 包年/包月 创建桶不收取费用,按实际使用的存储容量和时长收费 具体计费请以对象存储价格计算器中的价格为准。 ModelArts Standard数据管理、自动学习、Workflow、N
应用示例 创建图像分类数据集并进行标注任务 创建并完成图像分类的智能标注任务 开发环境的应用示例 以PyTorch框架创建训练作业(新版训练) 创建和修改工作空间 管理ModelArts服务的委托授权
t Storage Service,简称OBS)存储输入输出数据、运行代码和模型文件,实现安全、高可靠和低成本的存储需求。因此,在使用ModelArts之前通常先创建一个OBS桶,然后在OBS桶中创建文件夹用于存放数据。 本文档也以将运行代码存放OBS为例,请参考创建OBS桶,例
发布分享 发布免费算法 发布免费模型 发布数据 发布Notebook 父主题: AI Gallery(旧版)
训练脚本说明参考 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 离线训练安装包准备说明 父主题: 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6.3.910)
训练脚本说明参考 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 离线训练安装包准备说明 父主题: 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6.3.911)
|── data # 预处理后数据 |── pretrain # 预训练加载的数据 |── finetune # 微调加载的数据 |──converted_weights #
|── data # 预处理后数据 |── pretrain # 预训练加载的数据 |── finetune # 微调加载的数据 |──converted_weights #
准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据,可以用本案使用的数据集,也可以使用自己准备的数据集。 准备镜像 准备训练模型适用的容器镜像。 预训练 预训练 介绍如何进行预训练,包括训练数据处理、超参配置、训练任务、性能查看。 微调训练 SFT全参微调
例如:ResNet-50、YOLOv5模型使用FP16。BertLarge使用FP32。 - 模型变更频率 模型变更场景如下: 数据增量,模型算子未变更。 数据增量,模型算子变化,例如: 网络结构变化。 AI框架版本升级,使用了新版本算子。 例如:每半年对模型进行一次变更,变更的内容包含模型结构,并升级AI框架。
t Storage Service,简称OBS)存储输入输出数据、运行代码和模型文件,实现安全、高可靠和低成本的存储需求。因此,在使用ModelArts之前通常先创建一个OBS桶,然后在OBS桶中创建文件夹用于存放数据。 本文档也以将运行代码存放OBS为例,请参考创建OBS桶,例