检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Cache Cache缓存是一种临时存储数据的方法，它可以把常用的数据保存在内存或者其他设备中，当需要访问这些数据时，无需再去原始的数据源查找，而是直接从缓存中获取，从而节省时间和资源。 Cache缓存有以下几种操作： 初始化：指定缓存使用哪种存储方式，例如，使用内存型缓存可以设置为memory_cache
Cache Cache缓存是一种临时存储数据的方法，它可以把常用的数据保存在内存或者其他设备中，这样当需要访问这些数据时，就不用再去原始的数据源查找，而是直接从缓存中获取，从而节省时间和资源。 对LLM使用缓存： LLM llm = LLMs.of(LLMs.PANGU, llmConfig);
Tool分为StaticTool（静态工具）和DynamicTool（动态工具）两类。静态工具需要开发者事先定义好，即在编译期定义与实例化。对于动态工具，开发者可以在系统运行时动态构建，即在运行态定义与实例化。 StaticTool（静态工具） 静态工具可以通过注解的方式新增，在run接口中实现工具的功能，例如：
Tool分为StaticTool（静态工具）和DynamicTool（动态工具）两类，静态工具需要开发者事先定义好，即在编译期定义与实例化；动态工具开发者可以在系统运行时动态构建，即在运行态定义与实例化。 StaticTool（静态工具） 静态工具可以通过继承Tool的方式新增，在_run接口中实现工具的功能，例如：
平台资源管理 管理模型资产、推理资产 获取Token消耗规则
在“平台管理 > 资产管理 > 模型推理资产”中单击操作列“续订”执行续订操作。 图3 续订模型推理资产 扩容模型推理资产 推理资产不足，现有资源无法满足同时部署多个模型时，可以扩容模型推理资产。 在“平台管理 > 资产管理 > 模型推理资产”中，单击操作列“扩容”执行扩容操作。 图4
“开始计算”即可统计输入文本的Token数量。 图1 Token计算器 预置模型和已经部署的模型可以使用Token计算器。 父主题： 平台资源管理
注册边缘资源池节点 进入ModelArts服务，选择所需空间。 在左侧列表中单击“边缘资源池”，在“节点”页签中，单击“创建”。 在“创建边缘节点”页面中，填写节点名称，配置AI加速卡与日志信息，单击“确定”。 如果节点有npu设备需选择“AI加速卡 > Ascend”，并选择加速卡类型。
History History缓存，用于存储历史对话信息，辅助模型理解上下文信息，历史消息对有固定窗口、消息摘要等策略。 初始化：消息记录支持不同的存储方式， 如内存、DCS（Redis）和RDS（Sql）。 from pangukitsappdev.memory.sql_message_history
History History缓存，用于存储历史对话信息，辅助模型理解上下文信息，历史消息对有固定窗口、消息摘要等策略。 初始化：消息记录支持不同的存储方式，如内存、DCS（Redis）、RDS（Sql）。 import com.huaweicloud.pangu.dev.sdk
add_tool(ReverseTool()) agent.add_tool(AddTool()) agent.add_tool(SearchTool()) 静态工具和动态工具的注册方式相同，通过addTool接口进行注册。 通过set_max_iterations可以设置最大迭代次数，控制Agen
启用盘古大模型搜索增强能力 大模型在训练时使用的是静态的文本数据集，这些数据集通常是包含了截止到某一时间点的所有数据。因此，对于该时间点之后的信息，大模型可能无法提供。 通过将大模型与盘古搜索结合，可以有效解决数据的时效性问题。当用户提出问题时，模型先通过搜索引擎获取最新的信息，
增强等场景。 Memory（记忆）支持多种不同的存储方式和功能。 Cache缓存：是一种临时存储数据的方法，它可以提高数据的访问速度和效率。缓存可以根据不同的存储方式进行初始化、更新、查找和清理操作。缓存还可以支持语义匹配和查询，通过向量和相似度的计算，实现对数据的语义理解和检索。
增强等场景。 Memory（记忆）支持多种不同的存储方式和功能。 Cache缓存：是一种临时存储数据的方法，它可以提高数据的访问速度和效率。缓存可以根据不同的存储方式进行初始化、更新、查找和清理操作。缓存还可以支持语义匹配和查询，通过向量和相似度的计算，实现对数据的语义理解和检索。
码中配置以下信息，请提前收集。 表1 资源列表 类型 资源 是否必选 依赖信息 参考文档 备注 大语言模型 华为云盘古 是（大语言模型至少选一个） 盘古模型API调用URL。 华为云IAM账号认证信息。 盘古大模型API参考文档： 申请资源时，可联系客户支持获取。 IAM帮助文档：
云审计服务（Cloud Trace Service，CTS）是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后，CTS可记录用户使用盘古的管理事件和数据事件用于审计。
模型部署 > 边缘部署”，单击右上角“部署”按钮。 在创建部署页面选择模型与部署资产，选择部署方式为边缘部署，输入推理实例数（根据边缘资源池的实际资源选择），输入服务名称，单击“立即创建”。 创建成功后，可在“模型部署 > 边缘部署”，查看边缘部署列表。 单击“服务名称”可进入服务详情界面。
边缘部署是指将模型部署到用户的边缘设备上。这些设备通常是用户自行采购的服务器，通过ModelArts服务纳管为边缘资源池。然后利用盘古大模型服务将算法部署到这些边缘资源池中。 图1 边缘资源池创建步骤 当前仅支持预置模型（盘古-NLP-N2-基础功能模型）和基于N2的模型（盘古-NLP-N2
内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。 项目 华为云的区域默认对应一个项目，这个项目由系统预置，用来隔离物理区域间的资源（计算资源、存储资源和网络资源），以默认项目为单位进行授权，
agent.addTool(new AddTool()); agent.addTool(new SearchTool()); } 静态工具和动态工具的注册方式相同，通过addTool接口进行注册。 通过setMaxIterations可以设置最大迭代次数，控制Agent子
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
