检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在左侧导航栏中选择“应用开发 > 提示词工程”，进入提示词工程页面。 在工程任务列表页面，找到所需要操作的工程任务，单击该工程任务名称，跳转工程任务下候选提示词页面。 图1 提示词工程 选中两个候选提示词，单击左上角“横向比较”按钮，跳转提示词比较页面。 图2 横向比较 比较候选提示词信息
对数据量和数据质量有很高的要求，需要使用高质量的数据进行模型训练。 垂域知识问答场景：通用模型本身已经具有在给定的一段或几段段落知识的场景下进行总结回答的能力。因此，如果您的场景是基于某个领域内的知识问答，那么采用微调的手段确实能从一定程度上提升效果，但如果综合考虑训练的耗时和模
指标看板 × √ 困惑度 × √ 训练损失值指标介绍 训练损失值（Training Loss）是一种衡量模型预测结果和真实结果差距的指标，通常情况下越小越好。 一般来说，一个正常的Loss曲线是单调递减的，即随着训练的进行，Loss值不断减小，直到收敛到一个较小的值。以下给出了几种正常的Loss曲线形式：
}}标识，表示一些动态的信息，让模型根据不同的情况生成不同的文本，增加模型的灵活性和适应性。例如，将提示词设置为“你是一个旅游助手，需要给用户介绍旅行地的风土人情。请介绍一下{{location}}的风土人情。”在评估提示词效果时，可以通过批量替换{{location}}的值，来获得模型回答，提升评测效率。 同时
判断训练状态是否正常，通常可以通过观察训练过程中Loss（损失函数值）的变化趋势。损失函数是一种衡量模型预测结果和真实结果之间的差距的指标，正常情况下越小越好。 您可以从平台的训练日志中获取到每一步的Loss，并绘制成Loss曲线，来观察其变化趋势。一般来说，一个正常的Loss曲线应该是单
发布数据集 刚创建的数据集在未发布状态下，无法应用于模型训练，数据集创建、清洗完成后需要执行“发布”操作才可以将该数据集用于后续的任务中。 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据管理”，在“我的数据集”页签找到未发布的数据集，单击操作列“版本发布”执行发布数据集操作。
压缩盘古大模型 N2基础功能模型、N4基础功能模型、经有监督微调训练以及RLHF训练后的N2、N4模型可以通过模型压缩技术在保持相同QPS目标的情况下，降低推理时的显存占用。 采用INT8的压缩方式，INT8量化可以显著减小模型的存储大小与降低功耗，并提高计算速度。 模型经过量化压缩后，不支持评估操作，但可以进行部署操作。
吸引了大量流量，并为企业和个人提供了一个全新的营销平台。短视频用户希望借助大模型快速生成高质量的口播文案，以提升营销效果和效率。在这种场景下，用户只需提供一些基本信息，大模型就能生成需求的文案，从而大大提高文案的质量和效率。 除了短视频风格的口播文案，营销文案还可以根据需求生成不
在收集评估数据集时，应确保数据集的独立性和随机性，并使其能够代表现实世界的样本数据，以避免对评估结果产生偏差。对评估数据集进行分析，可以帮助了解模型在不同情境下的表现，从而得到模型的优化方向。 在“数据工程 > 数据管理”中创建“评测”类型的数据集作为评估数据集，数据集创建完成后需要执行发布操作。
"description": "预定会议室的结果" } } }, "metadata": { "url": "https://host/v1/api", "authType": "OAuth" } } 图2 创建工具 参数填写完成后，单击“确定”。
参数类型 描述 error_msg String 错误信息。 error_code String 错误码。 请求示例 非流式 POST https://{endpoint}/v1/{project_id}/deployments/{deployment_id}/text/completions
少，导致在这些领域的问答表现不佳。 某些垂直领域拥有大量高价值的私有数据，但这些数据未被通用大模型吸纳。 大模型在训练完成后难以快速有效地更新和补充知识，导致其在面对强时效性知识时，可能提供过时的回答。 当前，大模型对于私域数据的利用仍然面临一些挑战。私域数据是由特定企业或个人所
"你好，请介绍下西安。" ], "with_prompt": true } 响应示例 { "tokens": [ "你好", "，", "请", "介绍下", "西安"
图2 获取项目ID 多项目时，展开“所属区域”，从“项目ID”列获取子项目ID。 调用API获取项目ID 项目ID还可通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”，其中{Endpoint
}, { "role": "user", "content": "介绍下长江，以及长江中典型的鱼类" } ], "temperature": 0.9, "max_tokens":
中的“撰写”。 图1 撰写提示词 在撰写提示词区域单击“设为候选”按钮，将当前撰写的提示词设置为候选提示词。 图2 设为候选 每个工程任务下候选提示词上限9个，达到上限9个时需要删除其他候选提示词才能继续添加。 父主题： 横向比较提示词效果
在左侧导航栏中选择“应用开发 > 提示词工程”，进入提示词工程页面。 单击页面右上角“创建工程”，进入工程任务创建弹窗。输入工程名称、描述，选择行业、标签，工程任务下的所有提示词会同步继承该标签。 图1 创建提示词工程 单击“确定”完成工程创建。 父主题： 撰写提示词
agentSession相当于Agent的会话Memory。一般情况下，需要将agentSession对象在外部持久化，在每一轮会话传入agentSession对象中的sessionId，下面的示例代码用一个map对象模拟外部的持久化： /** * 在生产环境下，agentSession建议在外部持久化，而不是在内存中
支持对用例集的创建、查询、修改、删除。 提示词工程任务管理 提示词工程平台以提示词工程任务为管理维度，一个任务代表一个场景或一个调优需求，在提示词工程任务下可以进行提示词的调优、比较和评估。 提示词工程任务管理支持工程任务的创建、查询、修改、删除。 提示词调优 提示词调优支持对提示词文本的编辑、
典型训练问题和优化策略 什么情况下需要微调 什么情况下不建议微调 数据量很少，可以微调吗 数据量足够，但质量较差，可以微调吗 无监督的领域知识数据，量级无法支持增量预训练，如何让模型学习 如何调整训练参数，使模型效果最优 如何判断训练状态是否正常 如何评估微调后的模型是否正常 如何调整推理参数，使模型效果最优
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
