检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开源模型 SDK支持兼容OpenAI-API规范的开源模型。例如，用vllm框架使用OpenAI-API启动推理服务。当前鉴权方式支持AppCode鉴权和华为云的APIG简易认证方式。配置文件需要指定url和key，配置项为： sdk.llm.openai.url=https:/
配置AI助手工具 各种功能的API经封装后，将形成一个个工具，AI助手通过大模型来调用不同的工具，实现相应的功能。在创建AI助手前，需要将使用的功能封装为工具。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 工具管理”，单击页面右上角“创建工具”。 图1 工具管理 在“
Tool分为StaticTool（静态工具）和DynamicTool（动态工具）两类。静态工具需要开发者事先定义好，即在编译期定义与实例化。对于动态工具，开发者可以在系统运行时动态构建，即在运行态定义与实例化。 StaticTool（静态工具） 静态工具可以通过注解的方式新增，在run接口中实现工具的功能，例如：
Tool分为StaticTool（静态工具）和DynamicTool（动态工具）两类，静态工具需要开发者事先定义好，即在编译期定义与实例化；动态工具开发者可以在系统运行时动态构建，即在运行态定义与实例化。 StaticTool（静态工具） 静态工具可以通过继承Tool的方式新增，在_run接口中实现工具的功能，例如：
ion作为向量化字段，因此工具入库时，会将工具的name和description进行向量化，并在后续的检索中生效。 注意，上述tool_list中包含的工具在SDK中并不存在，需要替换成实际的工具。 向ToolRetriever中添加工具： # 添加工具 css_tool_retriever
2_agent_v2”，如上例所示，因此模型的url要配置为Pangu-NLP-N2-Default模型的地址。 支持注册开源模型，开源模型的定义可参考开源模型。 final LLM llm = LLMs.of(LLMs.OPENAI, LLMConfig.builder()
Agent流式输出 Agent用于工具调用场景，与普通的LLM流式输出相比，区分了文本流与工具流。文本流将输出模型的思考过程和最终结果；工具流将输出工具的调用过程，而工具的调用的执行结果是通过监听获取的。 通过如下接口为Agent添加流式输出的回调： from pangukitsappdev
ion作为向量化字段，因此工具入库时，会将工具的name和description进行向量化，并在后续的检索中生效。 注意，上述toolList中包含的工具在SDK中并不存在，需要替换成实际的工具。 向ToolRetriever中添加工具： // 添加工具 cssToolRetriever
add_tool(ReverseTool()) agent.add_tool(AddTool()) agent.add_tool(SearchTool()) 静态工具和动态工具的注册方式相同，通过addTool接口进行注册。 通过set_max_iterations可以设置最大迭代次数，控制Agent子规划的
Agent流式输出 Agent用于工具调用场景，与普通的LLM流式输出相比，提供了事件流的封装。消息内容、工具调用等通过不同的事件类型区分。 通过如下接口为Agent添加流式输出的回调： /** * 设置流式接口回调函数 * * @param streamAgentCallback
自定义模型 如果使用的模型不是盘古或者兼容OpenAI-API的开源模型，如，闭源模型或者裸机部署的自定义推理服务，可以通过继承AbstractLLM自定义一个模型，示例代码如下： @Slf4j public class CustomLLM extends AbstractLLM<LLMResp>
本场景不涉及自监督训练，无需准备自监督数据。 微调数据来源： 需要针对涉及的模块分别构造相关的微调数据。 query改写模块 来源：互联网开源数据集 问答模块 来源一：互联网开源数据集，如政府网站网页、政府在线问答公开数据、政务百科等。 来源二：特定的私域数据，针对于具体场景和项目需求，收集相关的
加幽默。 多工具混合调用：AI助手可以集成不同功能的工具来解决问题，这使得AI助手能够处理各种复杂的任务。 统一调用入口：AI助手通过一个统一的问答入口，即可解决多种问题，这使得用户可以在一个地方就能完成所有的任务。 有效分发业务问题：AI助手可以根据用户的需求和工具的定位，自动
CPU架构：aarch64（登录设备，执行arch命令查看） 依赖包下载。 docker下载：https://download.docker.com/linux/static/stable 选择对应cpu架构下载，docker版本选在19.0.3+。 K3S下载：https://github.c
古大模型能力通过ModelArts Studio大模型开发平台承载，它提供了包括盘古大模型在内的多种大模型服务，提供覆盖全生命周期的大模型工具链。 产品介绍 立即使用 在线体验 图说ECS 成长地图 由浅入深，带您玩转盘古大模型 01 了解 了解盘古大模型的概念、优势、应用场景以
回答。但如果您的场景涉及以下几种情况，则建议采用微调的手段来解决： 目标任务依赖垂域背景知识：通用模型学习到的知识大部分都是来自互联网上的开源数据，如果目标任务本身属于某个领域（如金融、政务、法律、医疗、工业等），需要依赖很深的领域背景知识，那么通用模型可能无法满足这些要求，需要
Token计算器 功能介绍 为了帮助用户更好地管理和优化Token消耗，平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量，提供费用预估，并优化数据预处理策略。 URI POST /v1/{project_id}/deployment
builder().systemPrompt(customSystemPrompt).build()) .build(); 优化工具描述 工具依赖的信息，可以通过其他工具获取时，增加关联关系提示： @AgentTool(toolId = "query_reimbursement_limit"
功能总览 功能总览 全部 数据工程工具链 模型开发工具链 应用开发工具链 能力调测 应用百宝箱 数据工程工具链 数据是大模型训练的基础，为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分，具备数据获取、清洗、配比和管理等功能。 该工具链能够高效收集和处理各种格
/** * Agent的状态为RUNNING，不为FINISHED，所以需要调用工具， * 示例：调用的工具为meeting_room_status_query，入参为{"start": "2024-05-07 14:00",
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
