检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何判断盘古大模型训练状态是否正常 判断训练状态是否正常，通常可以通过观察训练过程中Loss（损失函数值）的变化趋势。损失函数是一种衡量模型预测结果和真实结果之间的差距的指标，正常情况下越小越好。 您可以从平台的训练日志中获取到每一步的Loss，并绘制成Loss曲线，来观察其变化
可靠性。数据评估的主要意义体现在以下几个方面： 确保数据质量：通过评估数据集的准确性、完整性和一致性，用户可以及时发现并修复数据中的问题，确保数据符合训练标准。 提升模型性能：高质量的数据集直接影响模型的训练效果。通过准确的评估，用户能够确保数据集的高质量，进而提升模型的性能和精度。
录、以及数据集的删除管理等。这不仅便于用户对已发布数据集的集中管理，还可帮助用户了解每个数据集的使用情况，从而简化数据资产的维护更新流程。通过这样的统一管理，用户能够更高效地组织和利用数据资源，确保数据资产的安全性和一致性。 管理数据资产 登录ModelArts Studio大模型开发平台，进入所需空间。
如果需要将该审核任务移交给其他人员，可以单击操作列“移交”设置移交人员以及移交的数量。 图3 移交审核任务 进入审核页面后，可通过单击“通过”或“不通过”逐一对数据进行审核，直至所有数据审核完成，期间可对不满足要求的数据进行驳回，驳回后将分给标注人员重新标注。 父主题： 标注文本类数据集
如果需要将该审核任务移交给其他人员，可以单击操作列“移交”设置移交人员以及移交的数量。 图3 移交审核任务 进入审核页面后，可通过单击“通过”或“不通过”逐一对数据进行审核，直至所有数据审核完成，期间可对不满足要求的数据进行驳回，驳回后将分给标注人员重新标注。 父主题： 标注图片类数据集
如果需要将该审核任务移交给其他人员，可以单击操作列“移交”设置移交人员以及移交的数量。 图3 移交审核任务 进入审核页面后，可通过单击“通过”或“不通过”逐一对数据进行审核，直至所有数据审核完成，期间可对不满足要求的数据进行驳回，驳回后将分给标注人员重新标注。 父主题： 标注视频类数据集
关键步骤。通过压缩模型，能够有效减少推理过程中的显存占用，节省推理资源，同时提高计算速度。当前，平台支持对NLP大模型进行压缩。 模型部署：平台提供了一键式模型部署功能，用户可以轻松将训练好的模型部署到云端或本地环境中。平台支持多种部署模式，能够满足不同场景的需求。通过灵活的API接口，模型可以无缝集成到各类应用中。
性。 通过这些功能，平台不仅降低了标注成本，还为用户提供了灵活的定制化服务，满足不同业务场景的标注需求，确保为后续模型训练和优化提供高质量的数据支持。 数据标注意义 数据标注在数据工程中的作用是不可忽视的。它不仅是模型训练的基础，还直接影响到训练结果的准确性与有效性。通过标注，平
计，旨在为开发者提供简单、高效的大模型开发和部署方式。平台配备数据工程、模型开发、应用开发三大工具链，帮助开发者充分利用盘古大模型的功能。通过该平台，企业可根据需求选择合适的盘古NLP大模型、科学计算大模型等服务，便捷地构建自己的模型和应用 数据工程工具链：数据是大模型训练的核心
大模型服务的重要组成部分，具备数据获取、清洗、配比和管理等功能。 该工具链能够高效收集和处理各种格式的数据，满足不同训练和评测任务的需求。通过提供自动化的质量检测和数据清洗能力，对原始数据进行优化，确保其质量和一致性。同时，数据工程工具链还提供强大的数据存储和管理能力，为大模型训练提供高质量的数据支撑。
评估任务创建成功后，单击操作列“评估”进入评估页面。 图6 评估数据集质量 在评估页面，可参考评估项对当前数据的问题进行标注，且不满足时需要单击“不通过”，满足则单击“通过”。 图7 标记数据集问题 全部数据评估完成后，评估状态显示为“100%”，表示当前数据集已经评估完成，可以回退到“评估任务”页
评估任务创建成功后，单击操作列“评估”进入评估页面。 图6 评估数据集质量 在评估页面，可参考评估项对当前数据的问题进行标注，且不满足时需要单击“不通过”，满足则单击“通过”。 全部数据评估完成后，评估状态显示为“100%”，表示当前数据集已经评估完成，可以回退到“评估任务”页面，查看，单击操作列“报告”，获取数据集质量评估报告。
评估任务创建成功后，单击操作列“评估”进入评估页面。 图6 评估数据集质量 在评估页面，可参考评估项对当前数据的问题进行标注，且不满足时需要单击“不通过”，满足则单击“通过”。对于文本类数据集而言，可选择问题内容后，单击鼠标右键进行数据问题的标注。 图7 标记数据集问题 全部数据评估完成后，评估状态
言模型交互、对接，以及理解大语言模型能力方面都起着重要作用。用户可以通过提示词工程来提高大语言模型的安全性，还可以赋能大语言模型，如借助专业领域知识和外部工具来增强大语言模型的能力。 提示词基本要素 您可以通过简单的提示词（Prompt）获得大量结果，但结果的质量与您提供的信息数
t_knee、right_knee、left_ankle、right_ankle。 skeleton 是 定义骨架连接的列表，用于表示关键点之间的连接关系。每个连接用一对关键点索引表示，如 [1, 2]，表示鼻子（nose）到左眼（left_eye）的连线。 父主题： 数据集格式要求
下两种方式： 选择“可部分审核”：审核人员确认部分数据达到标注要求后，可以一键通过所有的标注。 选择“全部审核”：审核员在审核一部分数据后，发现标注质量均很高，则可以一键提交剩余待审核数据，默认审核通过，即可完成审核任务。 图4 设置标注人员、标注信息示例 在“标注管理”页面，单
数据过滤 图文文本长度过滤 过滤文本长度不在“文本长度范围”内的图文对。一个中文汉字或一个英文字母，文本长度均计数为1。 图文文本语言过滤 通过语种识别模型得到图文对的文本语种类型，“待保留语种”之外的图文对数据将被过滤。 图文去重 基于结构化图片去重 判断相同文本对应不同的图片数据是否超过阈值，如果超过则去重。
"role": "system", "content": "请用幼儿园老师的口吻回答问题，注意语气温和亲切，通过提问、引导、赞美等方式，激发学生的思维和想象力。" }, { "role": "user",
查看评估进展 评估完成后，可以查看每条数据的评估结果。 在评估结果中，“预期结果”表示变量值（问题）所预设的期望回答，“生成结果”表示模型回复的结果。通过比对“预期结果”、“生成结果”的差异可以判断提示词效果。 父主题： 批量评估提示词效果
数据评估 > 评估任务”。 单击操作列“报告”可以查看详细的质量评估报告。 图2 查看数据集评估报告 在“查看评估报告”页面，可以查看评估概览、通过率、评估类别分布等信息。 如果数据集未完成全部评估，可以单击右上角“继续评估”，评估剩余的数据。 图3 查看评估报告详情 父主题： 评估图片类数据集
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
