检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“标注管理”页面,单击操作列的“上线”对数据集进行上线。 图2 上线标注后的数据集 对不再使用的数据集可在操作列执行下线操作。若对当前标注数据集已执行发布操作发布图片类数据集,则不可将该标注数据集下线。 父主题: 标注图片类数据集
用于选择学习率调度器的类型。学习率调度器可以在训练过程中动态地调整学习率,以改善模型的训练效果。目前支持CosineDecayLR调度器。 变量权重 变量权重 训练数据设置完成后,会显示出各变量以及默认的权重。您可以基于变量的重要情况调整权重。 数据配置 训练数据 选择数据集中已发布的数据集,这里数据集需为再分
单击操作列“报告”可以查看详细的质量评估报告。 图2 查看数据集评估报告 在“查看评估报告”页面,可以查看评估概览、通过率、评估类别分布等信息。 如果数据集未完成全部评估,可以单击右上角“继续评估”,评估剩余的数据。 图3 查看评估报告详情 父主题: 评估文本类数据集
单击操作列“报告”可以查看详细的质量评估报告。 图2 查看数据集评估报告 在“查看评估报告”页面,可以查看评估概览、通过率、评估类别分布等信息。 如果数据集未完成全部评估,可以单击右上角“继续评估”,评估剩余的数据。 图3 查看评估报告详情 父主题: 评估图片类数据集
提示词撰写完成后,可以通过输入具体的变量值,组成完整的提示词,查看不同提示词在模型中的使用效果。 在撰写提示词页面,找到页面右侧变量输入区域,在输入框中输入具体的变量值信息。 输入变量值后预览区域会自动组装展示提示词。也可以直接选择已创建的变量集填入变量值信息,变量集是一个excel
单击操作列“报告”可以查看详细的质量评估报告。 图2 查看数据集评估报告 在“查看评估报告”页面,可以查看评估概览、通过率、评估类别分布等信息。 如果数据集未完成全部评估,可以单击右上角“继续评估”,评估剩余的数据。 图3 查看评估报告详情 父主题: 评估视频类数据集
预训练阶段:在这一阶段,模型通过学习大规模通用数据集来掌握语言的基本模式和语义。这一过程为模型提供了处理各种语言任务的基础,如阅读理解、文本生成和情感分析,但它还未能针对特定任务进行优化。 微调阶段:基于预训练的成果,微调阶段通过在特定领域的数据集上进一步训练,使模型能够更有效地应对具体的
数据量和质量均满足要求,为什么盘古大模型微调效果不好 这种情况可能是由于以下原因导致的,建议您排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或
气象类数据集格式要求 ModelArts Studio大模型开发平台支持导入气象类数据集,该数据集当前包括海洋气象数据。 海洋气象数据通常来源于气象再分析。气象再分析是通过现代气象模型和数据同化技术,重新处理历史观测数据,生成高质量的气象记录。这些数据既可以覆盖全球范围,也可以针对特
创建图片类数据集评估标准 ModelArts Studio大模型开发平台针对图片数据集预设的一套评估标准,涵盖了图像清晰度、分辨率、标签准确性、图像一致性等多个质量维度,用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准,可跳过此章节至创建图片类数据集评估任务。
创建文本类数据集评估标准 ModelArts Studio大模型开发平台针对文本数据集预设了一套基础评估标准,涵盖了数据准确性、完整性、一致性、格式规范等多个维度,用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准,可跳过此章节至创建文本类数据集评估任务。
创建视频类数据集评估标准 ModelArts Studio大模型开发平台针对视频数据集预设了一套评估标准,涵盖了视频的清晰度、帧率、完整性、标签准确性等多个质量维度,用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准,可跳过此章节至创建视频类数据集评估任务。
管理和高效操作的基础,便于用户实现统一查看和操作管理。 数据资产:用户已发布的数据集将作为数据资产存放在空间资产中。用户可以查看数据集的详细信息,包括数据格式、大小、配比比例等。同时,平台支持数据集的删除等管理操作,使用户能够统一管理数据集资源,以便在模型训练和分析时灵活调用,确保数据资产的规范性与安全性。
程度,从低到高依次是:DEBUG、INFO、WARNING、ERROR。 训练参数 数据批量大小 数据集进行分批读取训练,设定每个批次数据的大小。 通常情况下,较大的数据批量可以使梯度更加稳定,从而有利于模型的收敛。然而,较大的数据批量也会占用更多的显存资源,这可能导致显存不足,并且会延长每次训练的时长。
数据获取”,单击右上角“创建原始数据集”。 在“创建原始数据集”页面,选择“文本 > 单轮问答”,选择文件格式、文件来源并添加文件,填写数据集名称及描述,单击“立即创建”。 图1 创建原始数据集 创建成功的数据集的任务状态为“成功”,单击操作列的“上线”按钮,将该数据集上线,用于后续加工操作。
可进行对话互动、回答问题、协助创作。 盘古大模型(NLP大模型、科学计算大模型)在ModelArts Studio大模型开发平台部署后,可以通过API调用推理接口。 盘古仅提供技术能力,不对最终生成的内容负责,建议用户在使用服务的过程中,对模型生成的内容进行适当的审核和过滤,以保证内容的安全性。
评估模型效果的方法有很多,通常可以从以下几个方面来评估模型训练效果: Loss曲线:通过Loss曲线的变化趋势来评估训练效果,确认训练过程是否出现了过拟合或欠拟合等异常情况。 模型评估:使用平台的“模型评估”功能,“模型评估”将对您之前上传的测试集进行评估。通过查看测试集样本的PPL、BLE
模型学习数据的迭代步数就越多,可以学得更深入,但过高会导致过拟合;训练轮数越小,模型学习数据的迭代步数就越少,过低则会导致欠拟合。 您可根据任务难度和数据规模进行调整。一般来说,如果目标任务的难度较大或数据量级很小,可以使用较大的训练轮数,反之可以使用较小的训练轮数。 如果您没有
此示例演示了如何调用盘古NLP大模型API实现文本对话功能。您将学习如何通过API接口发送请求,传递对话输入,并接收模型生成的智能回复。通过这一过程,您可以快速集成NLP对话功能,使应用具备自然流畅的交互能力。 准备工作 调用盘古NLP大模型API实现文本对话前,请确保您已完成NLP大模型的部
ModelArts Studio大模型开发平台支持标注操作的数据集类型如下: 文本类数据集,详见创建文本类数据集标注任务。 视频类数据集,详见创建视频类数据集标注任务。 图片类数据集,详见创建图片类数据集标注任务。 父主题: 标注数据集