检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用数据工程构建NLP大模型数据集 NLP大模型支持接入的数据集类型 盘古NLP大模型仅支持接入文本类数据集，数据集文件内容包括：预训练文本、单轮问答、多轮问答、带人设单轮问答、带人设多轮问答等，不同训练方式所需要使用的数据见表1，该数据集格式要求请参见文本类数据集格式要求。 表1
加工视频类数据集 加工视频类数据集任务前，请先完成数据导入操作，具体步骤请参见导入数据至盘古平台。 创建视频类数据集加工任务 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工 > 加工任务”，单击界面右上角“创建加工任务”。
管理科学计算大模型训练任务 在训练任务列表中，任务创建者可以对创建好的任务进行编辑、启动、克隆（复制训练任务）、重试（重新训练任务）和删除操作。 登录ModelArts Studio大模型开发平台，进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”，进入模型训练页面，可进行如下操作：
”操作，将生成“加工数据集”被平台统一管理，并用于后续的发布任务。 平台支持对加工数据集查看基本信息、数据血缘等管理操作，具体步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据管理 > 数据集
加工文本类数据集 加工文本类数据集任务前，请先完成数据导入操作，具体步骤请参见导入数据至盘古平台。 创建文本类数据集加工任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工 > 加工
过程，用于后续模型训练等操作。 视频类数据集当前仅支持发布为“标准格式”。 创建视频类数据集发布任务 创建视频类数据集发布任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 发
管理员 √ √ - √ 标注管理员 √ √ - √ 标注作业员 - √ - - 标注审核员 - - √ - 创建视频类数据集标注任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工 > 标
默认值，再结合训练过程中的实际情况动态调整。 学习率（learning_rate） 0~1 1e-6~5e-4 学习率是在梯度下降的过程中更新权重时的超参数，过高会导致模型在最优解附近震荡，甚至跳过最优解，无法收敛，过低则会导致模型收敛速度过慢。 您可根据数据和模型的规模进行调整
管理员 √ √ - √ 标注管理员 √ √ - √ 标注作业员 - √ - - 标注审核员 - - √ - 创建文本类数据集标注任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工 > 标
文本生成问答对_问答题 该指令能够从用户提供的参考文本中构建出一个问题，同时给出其相应回答。 根据文本抽取问答对_金融场景 根据用户输入的金融类文档进行问答对的抽取。 生成人设 根据问题生成人设 根据用户输入的问题生成一个人物设定。 其他 BadCase问题泛化 该指令通过用户提供的badcase
管理员 √ √ - √ 标注管理员 √ √ - √ 标注作业员 - √ - - 标注审核员 - - √ - 创建图片类数据集标注任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工 > 标
和代表性。 如果单个数据集已满足您的需求，可跳过此章节至发布文本类数据集。 创建文本类数据集配比任务 创建文本类数据集配比任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工 > 配
加工图片类数据集任务前，请先完成数据导入操作，具体步骤请参见导入数据至盘古平台。 创建图片类数据集加工任务 创建图片类数据集加工任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工 > 加
和代表性。 如果单个数据集已满足您的需求，可跳过此章节至发布图片类数据集。 创建图片类数据集配比任务 创建图片类数据集配比任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工 > 配
批量评估提示词效果前，需要先上传提示词变量数据文件用于创建对应的评估数据集。 提示词变量是一种可以在文本生成中动态替换的占位符，用于根据不同的场景或用户输入生成不同的内容。其中，变量名称可以是任意的文字，用于描述变量的含义或作用。 提示词评估数据集约束限制 上传文件限xlsx格式。 数据行数不小于10行，不大于50行。
}}标识表示一些动态的信息，让模型根据不同的情况生成不同的文本，增加模型的灵活性和适应性。例如，将提示词设置为“你是一个旅游助手，需要给用户介绍旅行地的风土人情。请介绍下{{location}}的风土人情。”在评估提示词效果时，可以通过批量替换{{location}}的值，来获得模型回答，提升评测效率。
视频的清晰度、帧率、完整性、标签准确性等多个质量维度，用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准，可跳过此章节至创建视频类数据集评估任务。 创建视频类数据集评估标准步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。
涵盖了数据准确性、完整性、一致性、格式规范等多个维度，用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准，可跳过此章节至创建文本类数据集评估任务。 创建文本类数据集评估标准步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。
默认值，再结合训练过程中的实际情况动态调整。 学习率（learning_rate） 0~1 1e-6~5e-4 学习率是在梯度下降的过程中更新权重时的超参数，过高会导致模型在最优解附近震荡，甚至跳过最优解，无法收敛，过低则会导致模型收敛速度过慢。 您可根据数据和模型的规模进行调整
获取项目ID 从控制台获取项目ID 登录管理控制台。 在页面右上角的用户名的下拉列表中选择“我的凭证”。 图1 我的凭证 在“我的凭证”页面，获取项目ID（project_id），以及账号名、账号ID、IAM用户名和IAM用户ID。 在调用盘古API时，获取的项目id需要与盘古服
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
