检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
制Agent的行为。如果想控制中间过程，可以对Agent的runStep的返回进行修改。 通过监听终止Agent的执行 当需要在Agent的执行过程中终止执行时，除了通过setMaxIterations设置Agent的最大迭代次数，也可以通过实现监听器的onCheckInterruptRequirement实现。
模型刚开始训练时，如果选择一个较大的学习率，可能导致模型训练不稳定。选择使用warmup热身的方式，可以使开始训练的热身阶段内学习率较小，模型可以慢慢趋于稳定，待模型相对稳定后再逐渐提升至预设的最大学习率进行训练。使用热身可以使得模型收敛速度更快，效果更佳。 当前盘古-NLP-N4-基模型支持自监督训练。
数据量和质量均满足要求，为什么微调后的效果不好 这种情况可能是由于以下原因导致的，建议您排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或“学习
控制生成文本多样性和质量。 最大口令限制 用于控制聊天回复的长度和质量。一般来说，设置较大的参数值可以生成较长和较完整的回复，但也可能增加生成无关或重复内容的风险。较小的参数值可以生成较短和较简洁的回复，但也可能导致生成不完整或不连贯的内容，请避免该值小于10，否则可能生成空值或
发布提示词 通过横向比较提示词效果和批量评估提示词效果，如果找到高质量的提示词，可以将提示词发布至“提示词管理”中。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”，进入提示词工程页面。 在工程任务列表页面，找到所需要操作的工程任务，单击该工程名称，跳转工程任务下候选提示词页面。
其中，toolProvider中实现了provide接口，可以利用工具检索的返回动态构建出工具列表，同时也可以加一些后处理工作，如根据黑白名单做工具的过滤。 与上述的toolProvide呼应，在向toolRetriever中添加工具时，可以添加任意的元数据，用于在tooProvider中把工具组装出来：
置，方法如下： 在resources路径下，创建llm.properties文件，并根据实际需要配置相应的值。 如果需要自定义配置文件名，可以参考以下代码设置。 // 建议在业务项目入口处配置 // 不需要添加.properties后缀 ConfigLoadUtil.setBas
如何评估微调后的模型是否正常 评估模型效果的方法有很多，通常可以从以下几个方面来评估模型训练效果： Loss曲线：通过Loss曲线的变化趋势来评估训练效果，确认训练过程是否出现了过拟合或欠拟合等异常情况。 模型评估：使用平台的“模型评估”功能，“模型评估”将对您之前上传的测试集进
部署为在线服务 模型训练完成后，即模型处于“已完成”状态时，可以启动模型的部署操作。 基于盘古大模型打造的专业大模型包括BI专业大模型与单场景大模型支持模型推理，但不支持模型训练。 部署为在线服务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型部署”，单击界面右上角“部署”。
设置候选提示词 用户可以将效果较好的提示词设为候选提示词，并对提示词进行比对查看效果。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”，进入提示词工程页面。 在工程任务列表页面，找到所需要操作的工程任务，单击该工程任务操作栏中的“撰写”。 图1 撰写提示词
监听Agent(Python SDK) 一次Agent的响应如果涉及到多个任务的分解，往往会执行比较长的时间，此时可以对agent的执行过程进行监听，输出中间步骤。 AgentListener的定义如下： class AgentListener(ABC): """Agen
申请开通服务 您可按照需要选择是否开启内容审核。 开启内容审核后，可以有效拦截大模型输入、输出的有害信息，保障模型调用安全。 NLP模型在流式输出时，同样支持内容审核。特别是模型生成超长内容时，通过实时审核模型生成的内容片段，可以有效降低首token的审核时延，同时确保用户看到的内容是经过严格审核的。
功能 NLP-文本补全 给定一个提示和一些参数，模型会根据这些信息生成一个或多个预测的补全。它可以用来做文本生成、自动写作、代码补全等任务。 NLP-多轮对话 基于对话问答功能，用户可以与模型进行自然而流畅的对话和交流。 父主题： 使用前必读
生成的内容必须语言通顺； 10.生成的内容中不能出现“带货口播”等这一类字样； 输出格式：口播如下： xxx 方法二：产品介绍可以来源于真实的产品信息，也可以通过in-context-learning方式生成。示例如下： 大模型输入： 你是一个广告策划，你的工作是为不同的产品写宣传文案。
创建训练数据集的常见业务场景包括： 当用户的数据集较小时，可以将多个数据集组合起来进行训练。 需要进行模型的综合训练时，会组合多样的数据集，以提升模型处理不同类型数据的能力。例如，通过组合数据集，NLP模型在训练后可以同时具备文本生成、情感分析等多种能力。 在准备自监督训练数据
控制生成文本多样性和质量。 最大口令限制 用于控制聊天回复的长度和质量。一般来说，设置较大的参数值可以生成较长和较完整的回复，但也可能增加生成无关或重复内容的风险。较小的参数值可以生成较短和较简洁的回复，但也可能导致生成不完整或不连贯的内容，请避免该值小于10，否则可能生成空值或
数据集所在OBS路径 自监督训练数据集 创建数据集时，需要指定数据文件所在的文件夹。 有监督微调数据集 创建数据集时，可以指定数据文件或者数据文件所在的文件夹。 评测数据集 创建数据集时，可以指定数据文件或者数据文件所在的文件夹。 基本信息 填写数据集名称与描述，选择行业、语言和数据标签。 图9
大模型在训练时使用的是静态的文本数据集，这些数据集通常是包含了截止到某一时间点的所有数据。因此，对于该时间点之后的信息，大模型可能无法提供。 通过将大模型与盘古搜索结合，可以有效解决数据的时效性问题。当用户提出问题时，模型先通过搜索引擎获取最新的信息，并将这些信息整合到大模型生成的答案中，从而提供既准确又及时的答案。
语言、异常符号、乱码等字符。这种情况可能是由于以下几个原因导致的，建议您依次排查： 数据质量：请检查训练数据中是否存在包含异常字符的数据，可以通过规则进行清洗。 训练参数设置：若数据质量存在问题，且因训练参数设置的不合理而导致过拟合，该现象会更加明显。请检查训练参数中的 “训练轮
情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“最大Token限制”参数的设置，适当增加该参数的值，可以增大模型回答生成的长度，避免生成异常截断。请注意，该参数值存在上限，请结合目标任务的实际需要以及模型支持的长度限制来调整。 模型规格：不同
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
