检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过大模型搭建Agent应用，并结合多种工具，实现对话问答、规划推理和逻辑判断功能。 AI助手 应用开发SDK - 通过应用开发SDK提供的大模型调用、提示词模板、记忆、技能、智能代理等功能模块，快速开发大模型应用。 盘古应用开发SDK
将愈加显著。 当然，如果您的可用数据很少，也可以采取一些方法来扩充您的数据，从而满足微调要求，比如： 数据增强：在传统机器学习中，可以通过简单的重复上采样方式来扩充数据，但该方法不适用于大模型微调的场景，这将导致模型的过拟合。因此可以通过一些规则来扩充数据，比如：同义词替换、语法
来源二：基于人工泛化的真实业务场景数据。 来源三：基于简单规则槽位泛化的真实业务场景数据。示例如下： 原始问题： 科技行业公司的平均利润和市值是多少？ 识别原始问题中的槽位： 科技行业公司的[metric]利润和市值是多少？ 采用简单的逻辑规则进行替换，获取更多数据。此处将[metr
CSS插件模式（内部已集成Embedding， 支持多字段组合向量检索）。 CSS插件模式，需要提前手工创建索引（因索引中需要指定embdding/rank模型，SDK不能简单自动创建）。 CSS插件模式，不支持clear删除索引接口（索引外部创建，应由外部删除）。 vector_store_config =
色。用户可以通过提示工程提高语言模型的安全性，也可以通过专业领域知识和外部工具赋能语言模型，增强其能力。 Prompt基本要素 您可以通过简单的提示词获得大量结果，但结果的质量与您提供的信息数量和完善度有关。一个提示词可以包含您传递到模型的指令或问题等信息，也可以包含其他种类的信
output_desc。工具的出参描述，当前对Agent的表现无重要影响。 args_schema。工具入参类型，为重要参数，入参继承BaseModel的类型需额外指定，简单类型无需指定。 return_type。指定工具返回类型，为可选参数，如_run方法未指定返回类型时必选。 如果输入输出参数为复杂类型，则
"加法运算的数字", "type": "integer" } }, "required": ["a","b"] } 简单对象JsonSchema示例： { "type": "integer" } 枚举对象JsonSchema示例： { "type":
CSS插件模式（内部已集成Embedding， 支持多字段组合向量检索）。 CSS插件模式需要提前手工创建索引（因索引中需要指定embdding/rank模型，SDK不能简单自动创建）。 import com.huaweicloud.pangu.dev.sdk.api.embedings.Embeddings;
t保持固定和保证数据多样性，二者并不冲突。 当然，如果您的数据质量较差，也可以采取一些方法来提升数据质量，比如： 数据清洗：您可以通过一些简单基础的规则逻辑来过滤异常数据，比如，去空、去重、字符串过滤等。同时，您也可以采用PPL（困惑度），或训练一个二分类模型等方式过滤脏数据。
搭建边缘服务器集群 执行如下命令，生成docker证书。注意该命令只需执行一次，如果已有相关证书，请跳过该步骤。 bash cluster_install-ascend.sh generate_docker_cert --pkg-path=/home/hilens/pkgs 基于
多轮对话 支持上下文记忆的多轮对话。 初始化 from pangukitsappdev.skill.conversation_skill import ConversationSkill from pangukitsappdev.api.llms.factory import LLMs
监听Agent 一次Agent的响应如果涉及到多个任务的分解，往往会执行比较长的时间，此时可以对agent的执行过程进行监听。 AgentListener的定义如下： public interface AgentListener { /** * Session启动时调用
安装Ascend插件 详情请参考官方文档：https://www.hiascend.com/document/detail/zh/mindx-dl/50rc1/dluserguide/clusterscheduling/dlug_scheduling_02_000001.html
边缘部署准备工作 本指南的边缘部署操作以largemodel集群为例，示例集群信息如下表。 表1 示例集群信息 集群名 节点类型 节点名 规格 备注 largemodel controller ecs-edge-XXXX 鲲鹏通用计算型|8vCPUs|29GiB|rc3.2xlarge
安装SDK Maven中央仓导入 在项目pom.xml中参考以下方式添加依赖。 <dependency> <groupId>com.huaweicloud</groupId> <artifactId>pangu-kits-app-dev-java</artifactId>
监听Agent 一次Agent的响应如果涉及到多个任务的分解，往往会执行比较长的时间，此时可以对agent的执行过程进行监听，输出中间步骤。 AgentListener的定义如下： class AgentListener(ABC): """Agent监听，允许对Agent的各个阶段进行处理
配置SDK 基础配置项 SDK依赖的配置项主要通过读取llm.properties配置文件；如果配置文件名不为llm.properties，需要在项目中主动设置，方法如下： 在resources路径下，创建llm.properties文件，并根据实际需要配置相应的值。 如果需要自定义配置文件名，可以参考以下代码设置。
获取API认证鉴权信息（获取Token） 登录“我的凭证 > API凭证”页面，获取user name、domain name、project id。 project id参数需要与盘古服务部署区域一致。例如，盘古大模型部署在“西南-贵阳一”区域，需要获取与“西南-贵阳一”区域对应的project
使用推理SDK 安装SDK 使用SDK前，需要安装“huaweicloud-sdk-core”和“huaweicloud-sdk-pangulargemodels”。 请在SDK中心获取最新的sdk包版本，替换示例中版本。 表1 安装推理SDK SDK语言 安装方法 Java 在
长文本摘要 场景介绍 切割长文本，利用大模型逐步总结。 如对会议/报告/文章等较长内容总结概述。 工程实现 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # IAM 认证信息，根据实际填写 sdk.llm.pangu.iam.url= sdk.llm
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
