检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可以查看到调用链中该组件的输入和输出。 此外，平台支持配置构建应用所需的NLP大模型参数。 单击应用右上角的，打开大模型参数配置页面。配置参数见表1，完成大模型参数配置。 表1 大模型参数配置 参数 说明 模型选择 选择要使用的LLM，不同的模型效果存在差异。 模式选择 用于配置大模型的输出多样性。 包含取值：
提示词工程使用流程 ModelArts Studio大模型开发平台可以辅助用户进行提示词撰写、比较和评估等操作，并对提示词进行保存和管理。 表1 功能说明 功能 说明 提示词工程任务管理 提示词工程平台以提示词工程任务为管理维度，一个任务代表一个场景或一个调优需求，在提示词工程任务下可以进行提示词的调优、比较和评估。
以用于后续的数据评估、发布任务。 上线标注后的数据集步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据标注 > 标注管理” 在“标注管理”页面，单击操作列的“上线”对数据集进行上线。 图2
以用于后续的数据评估、发布任务。 上线标注后的数据集步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据标注 > 标注管理” 在“标注管理”页面，单击操作列的“上线”对数据集进行上线。 图2
以用于后续的数据评估、发布任务。 上线标注后的数据集步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据标注 > 标注管理” 在“标注管理”页面，单击操作列的“上线”对数据集进行上线。 图2
truncated：必选字段，取值0或1，表示标注内容是否被截断（0表示被截断、1表示没有截断）。 occluded：必选字段，取值0或1，表示标注内容是否被遮挡（0表示未遮挡、1表示遮挡）。 difficult：必选字段，取值0或1，表示标注目标是否难以识别（0表示容易识别、1表示难易识别）。 c
登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“模型开发 > 模型压缩”，单击界面右上角“创建压缩任务”。参考表1创建模型压缩任务。 表1 模型压缩任务参数说明 参数类别 参数名称 说明 压缩配置 压缩模型 选择需
叠加的octave数越多，噪音的复杂度也就越高。 取值范围：[1, 10)。 ensemble_noise_perlin_x 否 Double 用于选择集合预报的Perlin加噪x经度方向的尺度。 取值范围：[0, 1)。 ensemble_noise_perlin_y 否 Double
Studio开发平台中，数据工程功能提供了完整的解决方案，用于高效构建和管理数据集，其操作流程见图1、表1。这种全面的数据准备机制，确保了数据质量的可靠性，为各类模型开发奠定了坚实的基础。 图1 数据集准备与处理流程图 表1 数据集准备与处理流程表 流程 子流程 说明 导入数据至盘古平台 创建原始数据集
所需数据量见表1。 表1 构建NLP大模型所需数据量 模型规格 训练类型 推荐数据量 最小数据量（数据条数） 单场景推荐训练数据量 单条数据Token长度限制 N1 微调 - 1000条/每场景 ≥ 1万条/每场景 32K N2 微调 - 1000条/每场景 ≥ 1万条/每场景 32K
当前，平台支持的推理参数包括：温度、核采样以及话题重复度控制，如下提供了这些推理参数的建议值和说明，供您参考： 表1 推理参数的建议和说明 推理参数 范围 建议值 说明 温度（temperature） 0~1 0.3 温度主要用于控制模型输出的随机性和创造性。温度越高，输出的随机性和创造性越高；温度越
在应用详情页面的“Prompt builder”模块中，需要填入prompt指令，单击“示例”，复制角色指令模板。在输入框中粘贴模板，并进行填空。 图1 Prompt builder 单击“智能优化”，在 “Prompt优化”窗口中单击“确定”。 图2 Prompt优化示例 父主题： 手工编排Agent应用
的部署操作，详见创建NLP大模型部署任务。 NLP大模型支持文本对话能力，在输入框中输入问题，模型就会返回对应的答案内容。 图1 调测NLP大模型 表1 NLP大模型能力调测参数说明 参数 说明 温度 用于控制生成文本的多样性和创造力。调高温度会使得模型的输出更多样性和创新性。 核采样
在左侧导航栏中选择“Agent 开发 > 提示词工程 > 提示词开发”。 在工程任务列表页面，找到所需要操作的工程任务，单击该工程任务右侧“撰写”。 图1 提示词工程 在提示词撰写区域，单击“设为候选”，将当前撰写的提示词设置为候选提示词。 候选状态的提示词将保存至左侧导航栏的“候选”中。 图2
开发 > 提示词工程 > 提示词开发”，单击界面右上角“创建工程”。 输入工程名称、描述，选择行业、标签后。单击“确定”完成工程创建。 图1 创建提示词工程 父主题： 撰写提示词
行深度加工，以生成高质量的训练数据。 平台支持文本类数据集的加工操作，分为数据提取、数据转换、数据过滤三类，文本类加工算子能力清单见表1。 表1 文本类加工算子能力清单 算子分类 算子名称 算子描述 数据提取 WORD内容提取 从Word文档中提取文字，并保留原文档的目录、标题和
该工程任务右侧“撰写”。 在“撰写”页面，选择左侧导航栏中的“候选”。在候选列表中，勾选需要进行横向比对的提示词，并单击“创建评估”。 图1 创建评估 选择评估使用的变量数据集和评估方法。 评估用例集：根据选择的数据集，将待评估的提示词和数据集中的变量自动组装成完整的提示词，输入模型生成结果。
间内的资产。 在“数据发布”页签可查看数据资产，并可对数据集进行删除操作。单击数据集名称可进入详情页面查看数据集的基础信息和操作概览。 图1 查看数据资产 父主题： 管理盘古大模型空间资产
推理SDK概述 盘古大模型推理SDK是对REST API进行的封装，通过该SDK可以处理用户的输入，生成模型的回复，从而实现自然流畅的对话体验。 表1 推理SDK清单 SDK分类 SDK功能 支持语言 使用场景 推理SDK 对话问答（/chat/completions） Java、Python、Go、
人员可以审核数据集，管理员（主账号）可以对所有数据集进行审核。 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据标注 > 标注审核” 在“标注审核”页面，单击操作列“审核”可进入审核页面审核数据。 图2
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
