检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
打造短视频营销文案创作助手 场景介绍 随着互联网的发展，短视频已成为了日常生活中不可或缺的一部分，凭借其独特的形式和丰富的内容吸引了大量流量，并为企业和个人提供了一个全新的营销平台。短视频用户希望借助大模型快速生成高质量的口播文案，以提升营销效果和效率。在这种场景下，用户只需提供一些基本信息
实例化Agent(Python SDK) Agent实例化过程包括注册LLM和注册工具两个部分。 from pangukitsappdev.agent.react_pangu_agent import ReactPanguAgent from pangukitsappdev.api.llms.factory
实例化Agent(Java SDK) Agent实例化过程包括注册LLM和注册工具两个部分。 import com.huaweicloud.pangu.dev.sdk.agent.ReactPanguAgent; import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs
配置基础问答能力(Python SDK) 提供简单的对话实现。 初始化 from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.skill.base import SimpleSkill
配置文档问答能力(Java SDK) 基于已有的知识库进行回答，包括stuff、refine和map-reduce策略。 Stuff：将所有文档直接填充到prompt中，提给模型回答，适用于文档较少的场景。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs
添加Agent流式输出(Java SDK) Agent用于工具调用场景，与普通的LLM流式输出相比，提供了事件流的封装。消息内容、工具调用等通过不同的事件类型区分。 通过如下接口为Agent添加流式输出的回调： /** * 设置流式接口回调函数 * * @param streamAgentCallback
配置文档问答能力(Python SDK) 基于已有的知识库进行回答。有stuff、refine和map-reduce策略。 Stuff：将所有文档直接填充到prompt中，提给模型回答，适合文档较少的场景。 from pangukitsappdev.api.embeddings.factory
为什么微调后的模型，回答中会出现乱码 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成的结果中出现了其他语言、异常符号、乱码等字符。这种情况可能是由于以下几个原因导致的，建议您依次排查： 数据质量：请检查训练数据中是否存在包含异常字符的数据，可以通过规则进行清洗。
为什么微调后的模型，回答会异常中断 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成的结果不完整，出现了异常截断。这种情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“最大Token限制”参数的设置，适当增加该参数的值，可以增大模型回答生成的长度
配置Histroy(Java SDK) History缓存，用于存储历史对话信息，辅助模型理解上下文信息，历史消息对有固定窗口、消息摘要等策略。 初始化：消息记录支持不同的存储方式，如内存、DCS（Redis）、RDS（Sql）。 import com.huaweicloud.pangu.dev.sdk.api.memory.config.MessageHistoryConfig
配置Vector(Java SDK) Embedding Embedding模块用于对Embedding模型API的适配封装，提供统一的接口快速地调用CSS模型embedding能力。 初始化：根据相应模型定义Embedding类。例如，使用华为CSS Embedding为：Embeddings.of
使用Tool Retriever优化Agent性能(Python SDK) Agent在实际生产应用中往往涉及到的工具数量较多，如果把所用的工具全部添加至Agent会产生如下问题： 占用大量输入token。 和问题无关的工具太多，影响模型的判断。 通过Tool Retriever可以解决上述问题
实例化Tool(Python SDK) Tool分为StaticTool（静态工具）和DynamicTool（动态工具）两类，静态工具需要开发者事先定义好，即在编译期定义与实例化；动态工具开发者可以在系统运行时动态构建，即在运行态定义与实例化。 StaticTool（静态工具） 静态工具可以通过继承
为什么微调后的模型，评估结果很好，但实际场景表现却很差 当您在微调过程中，发现模型评估的结果很好，一旦将微调的模型部署以后，输入一个与目标任务同属的问题，回答的结果却不理想。这种情况可能是由于以下几个原因导致的，建议您依次排查： 测试集质量：请检查测试集的目标任务和分布与实际场景是否一致
基于NL2JSON助力金融精细化运营 场景介绍 在金融场景中，客户日常业务依赖大量报表数据来支持精细化运营，但手工定制开发往往耗费大量人力。因此，希望借助大模型消除语义歧义性，识别用户查询意图，并直接生成支持下游操作的结构化JSON信息。大模型的NL2JSON能力可以从自然语言输入抽取关键信息并转换为
模型长文本摘要能力应用开发(Python SDK) 应用介绍 切割长文本，利用大模型逐步总结，如对会议/报告/文章等总结概述。涉及长文本分割、摘要等相关特性。 环境准备 python3.9 及以上版本。 安装依赖的组件包， pip install pangu_kits_app_dev_py
添加Agent流式输出(Python SDK) Agent用于工具调用场景，与普通的LLM流式输出相比，区分了文本流与工具流。 文本流将输出模型的思考过程和最终结果；工具流将输出工具的调用过程，而工具的调用的执行结果是通过监听获取的。 通过如下接口为Agent添加流式输出的回调：
配置多轮对话能力(Java SDK) 支持上下文记忆的多轮对话。 初始化。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs; import com.huaweicloud.pangu.dev.sdk.api.skill.Skills
配置文档摘要能力(Python SDK) 基于已有的知识库，进行摘要总结。有stuff、refine、map-reduce策略。 Stuff：将所有文档直接填充到prompt中，提给模型处理，适合文档较少的场景。 from pangukitsappdev.api.embeddings.factory
配置文档摘要能力(Java SDK) 基于已有的知识库进行摘要总结，包括stuff、refine和map-reduce策略。 Stuff：将所有文档直接填充到prompt中，提给模型处理，适用于文档较少的场景。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
