检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
NLP大模型训练流程与选择建议 NLP大模型训练流程介绍 NLP大模型专门用于处理和理解人类语言。它能够执行多种任务，如对话问答、文案生成和阅读理解，同时具备逻辑推理、代码生成和插件调用等高级功能。 NLP大模型的训练分为两个关键阶段：预训练和微调。 预训练阶段：在这一阶段，模型
发布文本类数据集 原始数据集和加工后的数据集不可以直接用于模型训练，需要独立创建一个“发布数据集”。 文本类数据集支持发布的格式为： 默认格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要将数据集格式发布为“盘古格式”。 自定义格式：文本类数据集可以使用自定义脚本进行数据格式转换。
发布图片类数据集 原始数据集和加工后的数据集不可以直接用于模型训练，需要独立创建一个“发布数据集”。 图片类数据集支持发布的格式为： 默认格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要将数据集格式发布为“盘古格式”。 自定义格式：文本类数据集可以使用自定义脚本进行数据格式转换。
应用提示词生成面试题目 应用场景说明：将面试者的简历信息输入给大模型，基于简历生成面试问题，用于辅助人工面试或实现自动化面试。 父主题： 提示词应用示例
String 存储类型，取值为obs。 data 是 Array of ObsStorageDto objects 输入数据的OBS信息。 表4 ObsStorageDto 参数 是否必选 参数类型 描述 bucket 是 String 输入数据的OBS桶名称。 path 是 String
Studio大模型开发平台支持将文本类、图片类数据集发布为三种格式： 默认格式：适用于广泛的数据使用场景，满足大多数模型训练的标准需求。 盘古格式：专为盘古大模型训练设计的格式，确保数据集在盘古模型训练中的兼容性和一致性。 自定义格式：适用于文本类、图片类数据集，用户可以根据需求自定义数据格式，支持自
什么是提示词工程 提示词工程简介 提示词工程（Prompt Engineering）是一个较新的学科，应用于开发和优化提示词（Prompt），帮助用户有效地将大语言模型用于各种应用场景和研究领域。掌握提示词工程相关技能将有助于用户更好地了解大语言模型的能力和局限性。 提示词工程不
数据获取：数据获取是数据工程的第一步，涉及从不同来源和格式的数据导入到平台。ModelArts Studio大模型开发平台提供多种高效灵活的数据接入方式，支持本地上传、通过OBS服务将数据导入平台。平台支持的多种数据类型包括文本、图片、视频等，能够满足不同行业和业务需求的多样化数据接入方式。用户还可以根据业务需求上传
文本类数据集格式要求”。 上传文本类数据至OBS服务，上传步骤请详见通过控制台快速使用OBS。 操作流程 盘古NLP大模型SFT任务创建流程见表1。 表1 盘古NLP大模型SFT任务创建流程 操作步骤 说明 步骤1：导入数据至盘古平台 本样例场景实现将存储在OBS的文本数据导入至盘古平台，并上线为原始数据集。
时序数据：时序预测数据是一种按时间顺序排列的数据序列，每个数据点都有一个时间戳，表示数据在时间上的位置。它用于预测未来事件或趋势，过去的数据会影响未来的预测。 回归分类数据：回归分类数据包含多种预测因子（特征），用于预测连续变量的值。数据集中的多个特征变量帮助预测目标变量，而目标变量为连续数值，非离散
汇的总概率累积达到核采样值，核采样值可以限制模型选择这些高概率的词汇，从而控制输出内容的多样性。建议不要与温度同时调整。 温度：用于控制生成结果的随机性。建议不要与核采样同时调整。 调高温度，会使得模型的输出更具多样性和创新性。 降低温度，会使输出内容更加遵循指令要求，但同时也会减少模型输出的多样性。
客户端，而不是等到生成完成后一次性将所有文本发送给客户端。 temperature 否 Float 用于控制生成文本的多样性和创造力。 取值接近0表示最低的随机性，1表示最高的随机性。一般来说，temperature越低，适合完成确定性的任务。temperature越高，如0.9，适合完成创造性的任务。
个句子：xxx/某个段落：xxx。请根据以上的句子/段落，扩写成一段不少于xx个字的文本。”，再将回答设置为符合要求的段落。 填空：从段落随机掩盖一个或多个词语、句子、段落，再将段落完形填空。 若您的无监督文档没有任何结构化信息，可以将有监督的问题设置为“以下的文章中有一些词语/
应用与部署：当大模型训练完成并通过验证后，进入应用阶段。主要包括以下几个方面： 模型优化与部署：将训练好的大模型部署到生产环境中，可能通过云服务或本地服务器进行推理服务。此时要考虑到模型的响应时间和并发能力。 模型监控与迭代：部署后的模型需要持续监控其性能，并根据反馈进行定期更新或再训练。随着
'classes': [category1',category2', ...],// 所有类别名称的列表，每个类别对应一个 label，用于标注视频中的事件或动作。 'database': { 'video_name':{ // 训练集
上线加工后的文本类数据集 加工后的文本类数据集需要执行上线操作，用于后续的数据标注、评估、发布任务，具体步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据加工”，在数据集操作列单击“上线”，执行上线操作。
上线加工后的视频类数据集 加工后的视频类数据集需要执行上线操作，用于后续的数据标注、评估、发布任务，具体步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据加工”，在数据集操作列单击“上线”，执行上线操作。
上线标注后的文本类数据集 数据集标注完成并且审核无问题后，需要对该数据集执行上线操作。上线后的数据集可以用于后续的数据评估、发布任务。 上线标注后的数据集步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
上线加工后的气象类数据集 加工后的气象类数据集需要执行上线操作，用于后续的数据发布操作，具体步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据加工”，在数据集操作列单击“上线”，执行上线操作。
上线标注后的视频类数据集 数据集标注完成并且审核无问题后，需要对该数据集执行上线操作。上线后的数据集可以用于后续的数据评估、发布任务。 上线标注后的数据集步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
