检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
初始化:消息记录支持不同的存储方式, 如内存、DCS(Redis)和RDS(Sql)。 from pangukitsappdev.memory.sql_message_history import SQLMessageHistory from pangukitsappdev.api.memory
盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数据进行存储和保护。请参考OBS数据保护技术说明:https://support.huaweicloud.com/productdesc-obs/obs_03_0375.html 父主题: 安全
"description": "baz"})] ] vector_api.add_docs(bulk_list) 数据检索 docs = vector_api.similarity_search("bar", top_k=2) 数据清理 vector_api.clear() CSS插件模式(内部已集成Embedding,
在训练配置中,选择模型类型、训练类型、训练方式、训练模型与训练参数。 其中,训练配置选择LLM(大语言模型),训练类型选择有监督训练,根据所选模型配置训练参数。 表1 有监督微调参数说明 参数名称 说明 模型类型 选择“LLM”。 训练类型 选择“有监督微调”。 训练方式 全量微调:在模型有监督微
创建提示词工程 通过精心设计和优化提示词,可以引导大模型生成用户期望的输出,提示词工程任务的目标是通过设计和实施一系列的实验,来探索如何利用提示词来提高大模型在各种任务上的表现。 撰写提示词前需要先创建提示词工程,用于对提示词的统一管理。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发
from pangukitsappdev.api.llms.llm_config import LLMParamConfig from pangukitsappdev.api.llms.factory import LLMs # 设置SDK使用的配置文件 os.environ["SDK_CONFIG_PATH"]
数据量和质量均满足要求,Loss也正常收敛,为什么微调后的效果不好 这种情况可能是由于以下几个原因导致的,建议您依次排查: Prompt设置:请检查您使用的Prompt,对于同一个目标任务,建议在推理阶段使用和训练数据相同或相似的PROMPT,才能发挥出模型的最佳效果。 模型规格
子的结构和语义。 模型优化建议 如何基于指标的分值对训练任务进行调整:一般横向比较两个模型时,可以参考该指标。然而,指标没有一个明确的阈值来指示何时模型效果差。因此,单靠该指标无法直接决定任务的调整策略。 如果指标低是由于提示词(prompt)设置不合理,可以通过在模型训练阶段扩
sdk.api.doc.splitter.DocSplit; import com.huaweicloud.pangu.dev.sdk.api.doc.splitter.DocSplits; import com.huaweicloud.pangu.dev.sdk.api.doc
横向比较提示词效果 将设置为候选的两个提示词横向比较,获取提示词的差异性和效果。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务名称,跳转工程任务下候选提示词页面。 图1
单击页面右上角“创建提示用例集”,进入创建弹窗。 单击存储位置最右侧的图标,选择数据集文件所对应的obs路径,然后输入数据集名称、描述,创建数据集。 创建数据集前,请先将数据上传至OBS。 图4 创建数据集 父主题: 批量评估提示词效果
基础功能模型)采用self-instruct等方式泛化出更多的业务场景数据。示例如下: 大模型输入: 请改写命令案例,生成10个相似命令,保证每个命令都可以调用正确的指标接口。 请注意: 1. 命令必须契合人类常见的提问方式,命令方式必须保证多样化 2. 生成的命令只能改写命令案例中文表达部分的内容
配置基础问答能力(Python SDK) 提供简单的对话实现。 初始化 from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.skill.base import SimpleSkill from langchain
例如,需要构建一个企业助理应用,该应用需要具备预定会议室、创建在线文档和查询报销信息等功能。在构建此应用时,需要将预定会议室与创建在线文档等功能的API接口定义为一系列的工具,并通过AI助手,将这些工具与大模型进行绑定。当用户向AI助手提问时,大模型就会根据用户的问题自动规划调用相应工具,从而实现对应的功能。
初始化。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs; import com.huaweicloud.pangu.dev.sdk.api.skill.Skills; import com.huaweicloud.pangu
自监督训练: 不涉及 有监督微调: 本场景采用了下表中的微调参数进行微调,您可以在平台中参考如下参数进行训练: 表2 微调核心参数设置 训练参数 设置值 数据批量大小(batch_size) 8 训练轮数(epoch) 4 学习率(learning_rate) 7.5e-05 学
pangukitsappdev.api.embeddings.factory import Embeddings from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.memory.vector
pangukitsappdev.api.embeddings.factory import Embeddings from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.memory.vector
创建知识库 选择知识库类型后,单击“创建”进入知识库设置页面,创建知识库。 当选择“自定义知识库”时,需要设置名称、英文名称、描述信息。注意英文名称和描述将影响模型检索效果,不可随意填写,需按照知识库中文档的实际内容或知识库目进行填写。设置完成后单击“立即创建”进入知识库详情页,上传文
ssion对象在外部持久化,在每一轮会话传入agentSession对象中的sessionId,下面的示例代码用一个map对象模拟外部的持久化: /** * 在生产环境下,agentSession建议在外部持久化,而不是在内存中 * 如果使用AssistantAPI,华为会提供持久化能力,不需要自行实现