检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看CV大模型训练状态与指标 模型启动训练后,可以在模型训练列表中查看训练任务的状态,单击任务名称可以进入详情页查看训练结果、训练任务详情和训练日志。 查看模型训练状态 在模型训练列表中查看训练任务的状态,各状态说明详见表1。 表1 训练状态说明 训练状态 训练状态含义 初始化
CV大模型训练流程与选择建议 CV大模型训练流程介绍 目前,CV大模型支持微调训练。 微调阶段:微调阶段通过在特定领域的数据集上进一步训练,使模型能够更有效地应对具体的任务需求。在微调过程中,通过设定训练指标来监控模型的表现,确保其达到预期的效果。完成微调后,将对用户模型进行评估
发布训练后的NLP大模型 NLP大模型训练完成后,需要执行发布操作,操作步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,单击模型名称进入任务详情页。 单击进入“训练结果”页签,单击“发布”。
查看科学计算大模型训练状态与指标 模型启动训练后,可以在模型训练列表中查看训练任务的状态,单击任务名称可以进入详情页查看训练结果、训练任务详情和训练日志。 查看模型训练状态 在模型训练列表中查看训练任务的状态,各状态说明详见表1。 表1 训练状态说明 训练状态 训练状态含义 初始化
训练CV大模型 CV大模型训练流程与选择建议 创建CV大模型训练任务 查看CV大模型训练状态与指标 发布训练后的CV大模型 管理CV大模型训练任务 CV大模型训练常见报错与解决方案 父主题: 开发盘古CV大模型
训练预测大模型 预测大模型训练流程与选择建议 创建预测大模型训练任务 查看预测大模型训练状态与指标 发布训练后的预测大模型 管理预测大模型训练任务 预测大模型训练常见报错与解决方案 父主题: 开发盘古预测大模型
CV大模型训练常见报错与解决方案 CV大模型训练常见报错及解决方案请详见表1。 表1 CV大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时,数据集列表为空。 创建训练任务时,数据集选择框中显示为空,无可用的训练数据集。 数据集未发布。 请提前创
查看NLP大模型训练状态与指标 模型启动训练后,可以在模型训练列表中查看训练任务的状态,单击任务名称可以进入详情页查看训练结果、训练任务详情和训练日志。 查看模型训练状态 在模型训练列表中查看训练任务的状态,各状态说明详见表1。 表1 训练状态说明 训练状态 训练状态含义 初始化
大模型微调训练类问题 无监督领域知识数据量无法支持增量预训练,如何进行模型学习 如何调整训练参数,使盘古大模型效果最优 如何判断盘古大模型训练状态是否正常 如何评估微调后的盘古大模型是否正常 如何调整推理参数,使盘古大模型效果最优 为什么微调后的盘古大模型总是重复相同的回答 为什么微调后的盘古大模型的回答中会出现乱码
发布训练后的科学计算大模型 科学计算大模型训练完成后,需要执行发布操作,操作步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,单击模型名称进入任务详情页。 单击进入“训练结果”页签,单击“发布”。
训练NLP大模型 NLP大模型训练流程与选择建议 创建NLP大模型训练任务 查看NLP大模型训练状态与指标 发布训练后的NLP大模型 管理NLP大模型训练任务 NLP大模型训练常见报错与解决方案 父主题: 开发盘古NLP大模型
训练科学计算大模型 科学计算大模型训练流程与选择建议 创建科学计算大模型训练任务 查看科学计算大模型训练状态与指标 发布训练后的科学计算大模型 管理科学计算大模型训练任务 科学计算大模型训练常见报错与解决方案 父主题: 开发盘古科学计算大模型
NLP大模型训练常见报错与解决方案 NLP大模型训练常见报错及解决方案请详见表1。 表1 NLP大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时,数据集列表为空。 创建训练任务时,数据集选择框中显示为空,无可用的训练数据集。 数据集未发布。 请
预测大模型训练常见报错与解决方案 预测大模型训练常见报错及解决方案请详见表1。 表1 预测大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时,数据集列表为空。 创建训练任务时,数据集选择框中显示为空,无可用的训练数据集。 数据集未发布。 请提前创
管理科学计算大模型训练任务 在训练任务列表中,任务创建者可以对创建好的任务进行编辑、启动、克隆(复制训练任务)、重试(重新训练任务)和删除操作。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,进入模型训练页面,可进行如下操作:
科学计算大模型训练常见报错与解决方案 科学计算大模型训练常见报错及解决方案请详见表1。 表1 科学计算大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时,数据集列表为空 创建训练任务时,数据集选择框中显示为空,无可用的训练数据集。 数据集未发布。
因导致的,建议您依次排查: 数据质量:请检查训练数据中是否存在包含异常字符的数据,可以通过规则进行清洗。 训练参数设置:若数据质量存在问题,且因训练参数设置的不合理而导致过拟合,该现象会更加明显。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置,适当降低这些参数的值,降低过拟合的风险。
低质量的数据。 训练模型 自监督训练: 不涉及 有监督微调: 该场景采用下表中的微调参数进行微调,您可以在平台中参考如下参数进行训练: 表2 问答模型的微调核心参数设置 训练参数 设置值 数据批量大小(batch_size) 4 训练轮数(epoch) 3 学习率(learning_rate)
2024年11月发布的版本,仅支持模型增量预训练。32个训练单元起训,预训练后的模型版本需要通过微调之后,才可支持推理部署。 Pangu-NLP-N2-Chat-32K-20241030 32K 4K 2024年10月发布版本,支持8K序列长度训练,4K/32K序列长度推理。全量微调32个训练单元起训,LoR
去噪处理:去除无关或异常值,减少对模型训练的干扰。 数据预处理的目的是保证数据集的质量,使其能够有效地训练模型,并减少对模型性能的不利影响。 模型开发:模型开发是大模型项目中的核心阶段,通常包括以下步骤: 选择合适的模型:根据任务目标选择适当的模型。 模型训练:使用处理后的数据集训练模型。 超参数调优