检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建提示词工程 通过精心设计和优化提示词，可以引导大模型生成用户期望的输出，提示词工程任务的目标是通过设计和实施一系列的实验，来探索如何利用提示词来提高大模型在各种任务上的表现。 撰写提示词前需要先创建提示词工程，用于对提示词的统一管理。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发
微调训练以及RLHF训练后的N2、N4模型可以通过模型压缩技术在保持相同QPS目标的情况下，降低推理时的显存占用。 采用INT8的压缩方式，INT8量化可以显著减小模型的存储大小与降低功耗，并提高计算速度。 模型经过量化压缩后，不支持评估操作，但可以进行部署操作。 创建模型压缩任务
g_room的调用结果，提交之后，执行预期结束。为了说明用户反馈的功能，选择了调用setUserFeedback，进行反馈，第四次printPlan打印的结果为： 用户: 定个2点-4点的会议 助手: 好的，请问您想预定哪一个会议室？ - 步骤1: 思考:好的，请问您想预定哪一个会议室？
用于控制聊天回复的长度和质量。一般来说，设置较大的参数值可以生成较长和较完整的回复，但也可能增加生成无关或重复内容的风险。较小的参数值可以生成较短和较简洁的回复，但也可能导致生成不完整或不连贯的内容，请避免该值小于10，否则可能生成空值或极差的效果。因此，需要根据不同的场景和需求来选择合适的参数值。
用于控制聊天回复的长度和质量。一般来说，设置较大的参数值可以生成较长和较完整的回复，但也可能增加生成无关或重复内容的风险。较小的参数值可以生成较短和较简洁的回复，但也可能导致生成不完整或不连贯的内容，请避免该值小于10，否则可能生成空值或极差的效果。因此，需要根据不同的场景和需求来选择合适的参数值。
留期内的资源处理和费用请参见“保留期”。 如果保留期结束后仍未续订或充值，数据将被删除且无法恢复。 续费 包周期服务到期后，您可以通过手动续费来延长服务的有效期。 包周期服务到期后，如果在保留期结束前未完成续费，后续则不能再对已过保留期的服务进行续费操作，需重新购买对应的服务。
-Token的值即为Token。 Content-Type 是 String 发送的实体的MIME类型，参数值为“application/json”。 表3 请求Body参数 参数 是否必选 参数类型 描述 data 是 List<String> 待统计Token数的字符串。List长度必须为奇数。
Asia/Shanghai ; # # sdk.memory.rds.url= # sdk.memory.rds.user= # sdk.memory.rds.password= # sdk.memory.rds.poolSize= ################################
搜索增强 场景介绍 私有化场景下，大模型需要基于现存的私有数据提供服务。通过外挂知识库（Embedding、向量库）方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM
Loss）是一种衡量模型预测结果和真实结果差距的指标，通常情况下越小越好。 一般来说，一个正常的Loss曲线是单调递减的，即随着训练的进行，Loss值不断减小，直到收敛到一个较小的值。以下给出了几种正常的Loss曲线形式： 图2 正常的Loss曲线：平滑下降 图3 正常的Loss曲线：阶梯下降 如果
越高。 您可根据真实的任务类型进行调整。一般来说，如果目标任务的需要生成更具多样性的内容，可以使用较大的核采样，反之如果目标任务的需要生成更为确定的内容，可以使用较小的核采样。 请注意，温度和核采样的作用相近，在实际使用中，为了更好观察是哪个参数对结果造成的影响，因此不建议同时调整这两个参数。
搜索增强 场景介绍 私有化场景下，大模型需要基于现存的私有数据提供服务。通过外挂知识库（Embedding、向量库）方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM
监督微调（SFT）训练后的用户模型进行边缘部署。 使用边缘部署功能需要在ModelArts服务中开通“边缘资源池”功能，该功能为白名单特性，需要联系ModelArts服务技术支持人员进行开通。 创建边缘资源池操作较为复杂，建议联系盘古服务技术支持人员进行协助。 父主题： 部署为边缘服务
schema的形式进行描述，参数说明请参考官方指导。 output_schema 是 Json Schema 工具输出参数。将API封装为工具时，调用该API的响应参数。请求体以json schema的形式进行描述，参数说明请参考官方指导。 metadata 是 Object metadata
单击评估名称，进入评估任务详情页，可以查看详细的评估进度。例如，在图2中有10条评估用例，当前已经评估了8条，剩余2条待评估。 图2 查看评估进展 评估完成后，进入“评估报告”页面，可以查看每条数据的评估结果。 在评估结果中，“预期结果”即为变量值（问题）所预设的期望回答，“生成结果”即模型回复的结果。通过比较
撰写提示词 提示词是用来引导模型生成的一段文本。撰写的提示词应该包含任务或领域的关键信息，如主题、风格和格式等。 撰写提示词时，可以设置提示词变量，即在提示词中通过添加占位符{{ }}标识，表示一些动态的信息，让模型根据不同的情况生成不同的文本，增加模型的灵活性和适应性。例如，将提示词
了。李晓在宋朝的生活充满了挑战。他必须学习如何使用新的语言，适应新的生活方式。他开始学习宋朝的礼仪，尝试理解这个时代的文化。在宋朝，李晓遇到了许多有趣的人。他遇到了一位名叫赵敏拿来的小女孩，她聪明伶俐，让李晓对她产生了深深的喜爱。他还遇到了一位名叫王安石的大儒，他的智慧和博学让李
为什么微调后的模型，回答中会出现乱码 为什么微调后的模型，回答会异常中断 为什么微调后的模型，只能回答在训练样本中学过的问题 为什么微调后的模型，输入与训练样本相似的问题，回答与训练样本完全不同 为什么微调后的模型，评估结果很好，但实际场景表现却很差 多轮问答场景，为什么微调后的效果不好
符合预期，可以调整。 input_desc。工具的入参描述 ，为重要参数，该描述直接影响LLM对入参的提取，尽量描述清楚。如果Agent实际执行效果不符合预期，可以调整。 output_desc。工具的出参描述，当前对Agent的表现无重要影响。 args_schema。工具入参
toolId。表示工具的标识，建议为英文且与实际工具含义匹配，在同一个Agent中唯一。 toolDesc。工具的描述，为重要参数，尽可能的准确简短描述工具的用途。 toolPrinciple。表示何时使用该工具，为重要参数。该描述直接影响LLM对工具使用的判断，尽量描述清楚。如
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
