检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 服务管理 在“服务列表”中选择需要调用的模型，单击操作栏中的“调用路径”，复制对应模型的API请求地址。 图2 获取API请求地址 获取Token。 在调用盘古API过程中，Token起到了身份验证和权限管理的作用。 在调用盘古API前，需要先使用“获取Token”接口，获取
"reserve_meeting_room", toolDesc = "预定会议室", toolPrinciple = "请在需要预定会议室时调用此工具，预定前需要先查询会议室状态", inputDesc = "会议开始结束时间，会议室", outPutDesc = "预定会议室的结果")
进入知识库详情页，上传文档。在详情页会同步展示与AI助手的绑定关系。 图2 上传数据至知识库 当选择“引用知识库”时，需要设置名称、英文名称与描述信息，并选择需要引用的KooSearch知识库。注意英文名称和描述将影响模型检索效果，不可随意填写，需按照知识库中文档的实际内容或知识库目进行填写。
nt-L0.C模型，或其衍生模型，使用通用模型或其他模型无法运行。如上例所示，当前的module-version需要配置为“N2_agent_v2”，模型的相关配置需要改为Pangu-NLP-N2-Agent-L0.C模型的地址。 with_prompt参数配置为True，prompt的拼接由Agent托管处理。
agentSession) { } /** * onSessionIteration调用结束后，检查Agent是否需要终止，如果需要终止，则返回true，默认不终止 * 可以在终止前对agentSession进行修改，如：修改agent的finalAnswer
创建数据集 在新建数据集页面，依据需要进行的训练任务，选择导入数据，填写基本信息。 导入数据 选择模型类型、训练类型、数据类型、导入格式以及数据来源。 表1 数据集路径说明 数据集训练类型 数据集所在OBS路径 自监督训练数据集 创建数据集时，需要指定数据文件所在的文件夹。 有监督微调数据集
AgentSession): """ onSessionIteration调用结束后，检查Agent是否需要终止，如果需要终止，则返回true，默认不终止 可以在终止前对agentSession进行修改，如：修改agent的finalAnswer
- 步骤1: 思考:好的，我将使用企业健康体检工具来查询方欣科技有限公司今年1月的经营异常风险。首先，我需要确认工具调用的参数。根据工具定义，需要的参数包括"report_type"和"company_name"。用户已经提供了公司名称"方欣科技有限公司",并指定了
优的模型性能，但需要大量的计算资源和时间，计算开销较高。 局部微调（LoRA）：在模型微调过程中，只对特定的层或模块的参数进行更新，而其余参数保持冻结状态。这种方法在很多情况下可以显著减少计算资源和时间消耗，且依旧可以保持较好的模型性能。 训练模型 选择训练所需要的模型。支持选择“预置模型”或者“我的模型”。
调。 类似场景需要的微调数据量视具体情况而定，从经验上来说，若实际场景相对简单和通用，使用几千条数据即可；若场景复杂或专业，则需要上万条数据。 数据质量要求： 保证数据的分布和目标需要与实际场景匹配。 保证数据的覆盖度：数据需要尽可能覆盖产品所提供的功能；数据需要覆盖难易度、长短
vector_api.clear() CSS插件模式（内部已集成Embedding， 支持多字段组合向量检索）。 CSS插件模式，需要提前手工创建索引（因索引中需要指定embdding/rank模型，SDK不能简单自动创建）。 CSS插件模式，不支持clear删除索引接口（索引外部创建，应由外部删除）。
配置训练参数。 表1 自监督训练参数说明 参数名称 说明 模型类型 选择“LLM”。 训练类型 选择“自监督训练”。 训练模型 选择训练所需要的模型，模型详细介绍请参见选择模型与训练方法。 训练参数 指定用于训练模型的超参数。 训练参数说明和调参策略请参见自监督微调训练参数说明。
Token认证就是在调用API的时候将Token加到请求消息头，从而通过身份认证，获得操作API的权限。 Token的有效期为24小时，需要使用一个Token鉴权时，可以先缓存起来，避免频繁调用。 如果您的华为云账号已升级为华为账号，将不支持获取账号Token。建议为您自己创建
cssVector.clear(); CSS插件模式（内部已集成Embedding， 支持多字段组合向量检索）。 CSS插件模式需要提前手工创建索引（因索引中需要指定embdding/rank模型，SDK不能简单自动创建）。 import com.huaweicloud.pangu.dev
在左侧导航栏中选择“服务管理”，单击“开启内容审核”，进行授权。 图1 内容审核授权 购买内容审核套餐包，使用“文本补全”、“多轮对话”功能时需要购买“文本内容审核”套餐包。 图2 购买内容审核套餐包 父主题： 调用盘古大模型
图2 下载用户证书 登录环境A的盘古大模型套件平台，在“模型迁移”页面，选择“导出模型”，在导入证书的地方上传环境B下载的证书文件，并选择需要导出的模型和模型导出的obs路径。 图3 导出模型 单击“确定”，导出模型。 模型导出成功后，可以在obs中查看导出后的模型文件。下载该o
会将工具的name和description进行向量化，并在后续的检索中生效。 注意，上述tool_list中包含的工具在SDK中并不存在，需要替换成实际的工具。 向ToolRetriever中添加工具： # 添加工具 css_tool_retriever.add_tools(tool_list)
典型训练问题和优化策略 什么情况下需要微调 什么情况下不建议微调 数据量很少，可以微调吗 数据量足够，但质量较差，可以微调吗 无监督的领域知识数据，量级无法支持增量预训练，如何让模型学习 如何调整训练参数，使模型效果最优 如何判断训练状态是否正常 如何评估微调后的模型是否正常 如何调整推理参数，使模型效果最优
登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型压缩”。 单击界面右上角“创建压缩任务”，进入创建压缩任务页面。 图1 模型压缩 选择需要进行压缩的模型执行模型压缩，压缩策略为“INT8”。当压缩模型为N2基础功能模型，或是经有监督微调训练和RLHF训练后的N2模型，支持选择“低消耗模式”，减少推理资源的消耗。
图1 盘古大模型套件使用流程 表1 使用流程说明 流程 子流程 说明 操作指导 准备工作 注册华为账号并开通华为云 在使用华为云服务之前您需要注册华为账号并开通华为云。 注册华为账号并开通华为云 购买盘古大模型套件 购买盘古系列大模型及推理资产。 购买盘古大模型套件 开通盘古大模型服务
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
