检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Prompt(Java SDK) 提示词模板模块提供模板格式化、自定义配置、few-shot管理功能。 模板格式化 import com.huaweicloud.pangu.dev.sdk.template.KV; import com.huaweicloud.pangu.dev.sdk.template.PromptTemplate
这种迁移能力使模型能够在面对新挑战时迅速调整和优化，提供适应新领域的服务。 通过微调技术，盘古大模型能够在保持原有优势的同时，融入新领域的特征和规律，实现对新任务的快速适应。这种能力极大地扩展了模型的应用范围，使其在更广泛的业务场景中发挥作用，为用户提供更加全面和深入的智能服务。
在服务“总览”页面，单击“立即购买”，平台将为您提交购买权限申请。如您有加急购买需求，可在页面右上角单击“工单 > 新建工单”，搜索“盘古大模型”产品，选择问题类型并提交工单。
查看评估任务详情 查看评估任务详情 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型评估”。 单击任务名称查看模型评估任务详情。包含基本信息、评估详情、评估报告、评估日志以及数据配置。 图1 任务详情界面 任务详情： 任务详情中包含打分模式、评估资源、评估模型、任务状态以及模型描述
有效分发业务问题：AI助手可以根据用户的需求和工具的定位，自动对问题进行分发，这使得AI助手可以更准确地理解用户的需求，并提供相关的服务。 父主题： AI助手
配置Vector(Python SDK) Embedding Emebedding模块用于对Emebedding模型API的适配封装，提供统一的接口快速地调用CSS等模型emebedding能力。 初始化：根据相应模型定义Emebedding类，如使用华为CSS Embedding
requires_action表示他需要对这个action进行反馈，required_action中给出了Assistant的思考 } AI助手API参数说明 请求参数 表1 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token，通过调用IAM服务获取用户
例如，用vllm框架使用OpenAI-API启动推理服务。当前鉴权方式支持AppCode鉴权和华为云的APIG简易认证方式。
模型Agent助手应用开发(Java SDK) 应用介绍 通过模型对复杂任务的自动拆解与外部工具调用执行能力，通过与用户多轮对话，实现会议室预订场景。 环境准备 Java 1.8。 参考安装章节，完成基础环境准备。 盘古大语言模型。 开发实现 创建配置文件llm.properties
配置Vector(Java SDK) Embedding Embedding模块用于对Embedding模型API的适配封装，提供统一的接口快速地调用CSS模型embedding能力。 初始化：根据相应模型定义Embedding类。例如，使用华为CSS Embedding为：Embeddings.of
运行Agent(Java SDK) 在给出的示例中，Agent中预置了2个工具，分别为： meeting_room_status_query：查询会议室的状态，是否被预订或者正在使用中。 reserve_meeting_room：预订会议室。 单轮执行： 调用run接口运行一个Agent
使用Tool Retriever优化Agent性能(Java SDK) Agent在实际生产应用中往往涉及到的工具数量较多，如果把所用的工具全部添加至Agent会产生如下问题： 占用大量输入token。 和问题无关的工具太多，影响模型的判断。 通过Tool Retriever可以解决上述问题
配置SDK(Java SDK) 基础配置项 SDK依赖的配置项主要通过读取llm.properties配置文件；如果配置文件名不为llm.properties，需要在项目中主动设置，方法如下： 在resources路径下，创建llm.properties文件，并根据实际需要配置相应的值
使用Tool Retriever优化Agent性能(Python SDK) Agent在实际生产应用中往往涉及到的工具数量较多，如果把所用的工具全部添加至Agent会产生如下问题： 占用大量输入token。 和问题无关的工具太多，影响模型的判断。 通过Tool Retriever可以解决上述问题
签名SDK只提供签名功能，与服务提供的SDK不同，使用时请注意。 AK/SK获取方式请参考获取AK/SK。 父主题： 如何调用REST API
数据格式要求 盘古大模型服务支持如下数据，格式要求请参见表3。 表3 盘古数据文件格式要求 数据类型 支持格式 数据样例 是否支持拆分（划分训练集/验证集） 自监督训练数据 TXT、JSONL、PDF、WORD、HTML 编码格式为UTF-8。
本场景采用了下表中的推理参数进行解码，您可以在平台部署后参考如下参数调试： 表3 推理核心参数设置 推理参数 设置值 最大Token限制（max_token） 4096 温度（temperature） 0.3 核采样（top_p） 1.0 话题重复度控制（presence_penalty） 0 部署推理服务后
本场景采用了下表中的推理参数进行解码，您可以在平台部署后参考如下参数调试： 表2 推理核心参数设置 推理参数 设置值 最大Token限制（max_token） 1024 温度（temperature） 0.3 核采样（top_p） 0.8 话题重复度控制（presence_penalty） 0 部署推理服务后
本场景采用了下表中的推理参数进行解码，您可以在平台中参考如下参数调试： 表3 问答模型的推理核心参数设置 推理参数 设置值 最大Token限制（max_token） 4096 温度（temperature） 0.9 核采样（top_p） 0.4 话题重复度控制（presence_penalty） 0.3 部署推理服务后
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
