检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
nal State Transfer）风格的API，支持您通过HTTPS请求调用，调用方法请参见如何调用REST API。 调用API时，需要用户网络可以访问公网。 父主题： 使用前必读
调用AI助手API 获取AI助手API调用地址 登录盘古大模型套件平台。 左侧导航栏选择“应用开发 > AI助手”，选择需要运行的AI助手，单击“查看”。 图1 查看AI助手 在详情页面，AI助手API调用地址。 图2 获取调用地址 获取Token 本示例中，通过使用Postman软件获取Token。
大模型的计量单位token指的是什么？ 大模型是否可以自定义人设？ 盘古自然语言大模型的适用场景有哪些？ 大模型的安全性需要从哪些方面展开评估和防护？ 训练智能客服系统大模型需要考虑哪些方面？ 更多 模型训练类 如何调整训练参数，使模型效果最优？ 如何判断训练状态是否正常？ 更多 数据集类
> 模型部署”，单击界面右上角“部署”。 在创建部署页面，完成部署配置，填写基本信息。 表1 部署配置参数 参数名称 说明 选择模型 选择需要部署的模型。 推理资源 选择非限时免费的模型时显示。选择盘古大模型服务提供的在线推理资产。 部署方式 选择“在线部署”，即将算法部署至盘古大模型服务提供的资源池中。
Cache Cache缓存是一种临时存储数据的方法，它可以把常用的数据保存在内存或者其他设备中，这样当需要访问这些数据时，就不用再去原始的数据源查找，而是直接从缓存中获取，从而节省时间和资源。 对LLM使用缓存： LLM llm = LLMs.of(LLMs.PANGU, llmConfig);
基础配置项 SDK依赖的配置项主要通过加载llm.properties配置文件。 在项目路径下，创建llm.properties文件，并根据实际需要配置相应的值。 在环境变量中配置“SDK_CONF_PATH”指向该配置文件： # 建议在业务项目入口处配置 import os os.e
提示财务报销助手依赖的必要信息，如用户名称等基础信息： final String customSystemPrompt = "你是财务报销助手。当需要用户反馈信息时，尽可能提示用户名称等原始信息。今天的日期是" + new SimpleDateFormat("yyyy年MM月dd日").format(new
Cache Cache缓存是一种临时存储数据的方法，它可以把常用的数据保存在内存或者其他设备中，当需要访问这些数据时，无需再去原始的数据源查找，而是直接从缓存中获取，从而节省时间和资源。 Cache缓存有以下几种操作： 初始化：指定缓存使用哪种存储方式，例如，使用内存型缓存可以设置为memory_cache
agentSession) { } /** * onSessionIteration调用结束后，检查Agent是否需要终止，如果需要终止，则返回true，默认不终止 * 可以在终止前对agentSession进行修改，如：修改agent的finalAnswer
√ 盘古-NLP-N2单场景模型-4K - - - - √ 盘古-NLP-N2单场景模型-32K - - - - √ 当前支持评估操作的模型需要经过SFT（有监督微调）后方可进行模型评估。 父主题： 模型能力与规格
在AI助手的创建页面可以直接进行调测，也可以在AI助手列表页进行调测。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > AI助手”，选择需要调测的AI助手，单击“调测”按钮。 图1 AI助手 在调测页面，可以调整AI助手的指令，输入问题后，单击“运行”获得模型回复结果。 图2 AI助手能力调测
required。是否为可选参数。 注意：字段的命名需要以小写字母开头，否则在转换成标准的Json schema时会出现问题，导致模型精度受到影响。 上例中的InputParam为一个复杂的入参，如果工具的入参为基本类型，则不需要再额外定一个结构体，例如： import com.huaweicloud
实例化Tool Tool分为StaticTool（静态工具）和DynamicTool（动态工具）两类，静态工具需要开发者事先定义好，即在编译期定义与实例化；动态工具开发者可以在系统运行时动态构建，即在运行态定义与实例化。 StaticTool（静态工具） 静态工具可以通过继承To
l集群为例，示例集群信息如下表。 表1 示例集群信息 集群名 节点类型 节点名 规格 备注 largemodel controller ecs-edge-XXXX 鲲鹏通用计算型|8vCPUs|29GiB|rc3.2xlarge.4镜像 EulerOS 2.9 64bit with
AgentSession): """ onSessionIteration调用结束后，检查Agent是否需要终止，如果需要终止，则返回true，默认不终止 可以在终止前对agentSession进行修改，如：修改agent的finalAnswer
解释性。 对于模型答案的反问 如果模型给出了错误的答案，可以反问模型回答的逻辑，有时可以发现错误回答的根因，并基于此修正提示词。 在反问时需要指明“上面的xxx”。例如：“为什么你认为上面的xxx是xxx类别？为什么上面的xxx不是xxx类别？”，否则模型会认为用户反问是个新问题
优的模型性能，但需要大量的计算资源和时间，计算开销较高。 局部微调（LoRA）：在模型微调过程中，只对特定的层或模块的参数进行更新，而其余参数保持冻结状态。这种方法在很多情况下可以显著减少计算资源和时间消耗，且依旧可以保持较好的模型性能。 训练模型 选择训练所需要的模型。支持选择“预置模型”或者“我的模型”。
可以使用较小的学习率和较小的数据批量大小，避免过拟合。 通用模型的规格：如果模型参数规模较小，那么可能需要较大的学习率和较大的批量大小，以提高训练效率。如果规模较大，那么可能需要较小的学习率和较小的批量大小，防止内存溢出。 这里提供了一些微调参数的建议值和说明，供您参考： 表1 微调参数的建议和说明
提示词工程”，进入提示词工程页面。 在工程任务列表页面，找到所需要操作的工程任务，单击该工程任务操作栏中的“撰写”。 图1 撰写提示词 在撰写提示词区域单击“设为候选”按钮，将当前撰写的提示词设置为候选提示词。 图2 设为候选 每个工程任务下候选提示词上限9个，达到上限9个时需要删除其他候选提示词才能继续添加。
图1 服务管理 在“服务列表”中选择需要调用的模型，单击操作栏中的“调用路径”，复制对应模型的API请求地址。 图2 获取API请求地址 获取Token。 在调用盘古API过程中，Token起到了身份验证和权限管理的作用。 在调用盘古API前，需要先使用“获取Token”接口，获取
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
