检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建文本类数据集评估任务前，请先完成创建文本类数据集加工任务。 创建文本类数据集评估任务步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据评估 > 评估任务”，单击界面右上角“创建评估任务”。 图2
创建图片类数据集评估任务前，请先完成创建图片类数据集评估标准。 创建图片类数据集评估任务步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据评估 > 评估任务”，单击界面右上角“创建评估任务”。 图2
需要独立创建一个“发布数据集”。 视频类数据集当前仅支持发布为“默认格式”，操作步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据发布”，单击界面右上角“创建发布数据集”。 在“创建发布数据集”页面，选择“视频”类型的数据集。
需要独立创建一个“发布数据集”。 气象类数据集当前仅支持发布为“默认格式”，操作步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据发布”，单击界面右上角“创建发布数据集”。 在“创建发布数
高大模型在各种任务上的表现。 撰写提示词前需要先创建提示词工程，用于对提示词进行统一管理。 登录ModelArts Studio大模型开发平台，进入所需空间。 在左侧导航栏中选择“Agent 开发 > 提示词工程 > 提示词开发”，单击界面右上角“创建工程”。 输入工程名称、描述
创建图片类数据集标注任务前，请先完成创建图片类数据集加工任务。 创建图片类数据集标注任务步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据标注 > 标注管理”，单击页面右上角“创建标注任务”。 图2
工作流简介 Agent平台工作流由多个组件构成，组件是组成工作流的基本单元。例如，大模型、插件、代码、判断等组件。 创建工作流时，工作流默认包含了开始、结束和大模型组件，每个组件需要配置不同的参数，如组件配置、输入和输出参数等。基于该工作流，开发者可通过拖、拉、拽可视化组件等方式
文本类数据集支持发布的格式为： 默认格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要将数据集格式发布为“盘古格式”。 自定义格式：文本类数据集可以使用自定义脚本进行数据格式转换。 发布文本类数据集操作步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1
图片类数据集支持发布的格式为： 默认格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要将数据集格式发布为“盘古格式”。 自定义格式：文本类数据集可以使用自定义脚本进行数据格式转换。 发布图片类数据集操作步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1
其他类数据集格式要求 除文本、图片、视频、气象、预测类数据集外，用户训练模型时如果使用较特殊的数据集，ModelArts Studio大模型开发平台支持导入用户自定义的数据集。 例如，在训练CV类算法（如图片分类、图片分割、图片检测等任务）时，用户需使用“其他”类型的数据集。 其他类数
气象类数据集格式要求 ModelArts Studio大模型开发平台支持导入气象类数据集，该数据集当前包括海洋气象数据。 海洋气象数据通常来源于气象再分析。气象再分析是通过现代气象模型和数据同化技术，重新处理历史观测数据，生成高质量的气象记录。这些数据既可以覆盖全球范围，也可以针
管理盘古数据资产 数据资产介绍 用户发布的数据集会被纳入数据资产，集中存储在空间资产中。平台为数据资产提供了一系列管理功能，包括查看数据集的详细信息、追踪操作记录、以及数据集的删除管理等。这不仅便于用户对已发布数据集的集中管理，还可帮助用户了解每个数据集的使用情况，从而简化数据资
保证微调数据能覆盖对应任务所涉及的所有场景。 微调数据清洗： 以下是该场景中实际使用的数据清洗策略，供您参考： 原始文本处理。基于爬虫、数据处理平台批量处理收集到的原始数据，需要将文件统一转换成纯文本的txt文件，对错误格式数据进行删除。 构建微调数据。生成垂域微调（问答对）数据，将问
整性和一致性，为模型训练提供高质量的输入数据。 提高处理效率：平台预置的多种数据加工算子，帮助用户快速完成数据清洗、转换和处理，减少手动操作，提高数据处理的效率。 满足业务需求：不同类型的数据需要不同的处理方式，平台根据文本、图片、视频、气象等数据类型提供专门的加工工具，满足各种复杂的业务需求。
推理参数（解码参数）是一组用于控制模型生成预测结果的参数，其可以用于控制模型生成结果的样式，如长度、随机性、创造性、多样性、准确性和丰富度等等。 当前，平台支持的推理参数包括：温度、核采样以及话题重复度控制，如下提供了这些推理参数的建议值和说明，供您参考： 表1 推理参数的建议和说明 推理参数
预测类数据集格式要求 平台支持创建预测类数据集，创建时可导入时序数据、回归分类数据。 时序数据：时序预测数据是一种按时间顺序排列的数据序列，每个数据点都有一个时间戳，表示数据在时间上的位置。它用于预测未来事件或趋势，过去的数据会影响未来的预测。 回归分类数据：回归分类数据包含多种
判断训练状态是否正常，通常可以通过观察训练过程中Loss（损失函数值）的变化趋势。损失函数是一种衡量模型预测结果和真实结果之间的差距的指标，正常情况下越小越好。 您可以从平台的训练日志中获取到每一步的Loss，并绘制成Loss曲线，来观察其变化趋势。一般来说，一个正常的Loss曲线应该是单调递减的，即随着训练的
在ModelArts Studio大模型开发平台中，使用数据工程创建盘古科学计算大模型数据集流程见表2。 表2 盘古科学计算大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建原始数据集 数据集是指用于模型训练或评测的一组相关数据样本，上传至平台的数据将被创建为原始数据集进行统一管理。
您可根据任务难度和数据规模进行调整。一般来说，如果目标任务的难度较大或数据量级很小，可以使用较大的训练轮数，反之可以使用较小的训练轮数。 如果您没有专业的调优经验，可以优先使用平台提供的默认值，再结合训练过程中模型的收敛情况动态调整。 数据批量大小（batch_size） >=1 4/8 数据批量大小是指对数据集进行
n限制等参数。模型参数的设置会影响模型的生成质量和多样性，因此需要根据不同的场景进行选择。 登录ModelArts Studio大模型开发平台，进入所需空间。 在左侧导航栏中选择“Agent 开发 > 提示词工程 > 提示词开发”。 在工程任务列表页面，找到所需要操作的工程任务，单击该工程任务右侧“撰写”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
