检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调用盘古大模型 迁移盘古大模型 应用开发工具链 应用开发工具链是盘古大模型平台的关键模块,支持提示词工程和智能Agent应用创建。 该工具链提供提示词设计和管理工具,优化大模型的输入提示,提升输出的准确性和相关性。通过丰富的开发SDK,应用开发工具链加速大模型应用的开发,满足复杂业务需求。 支持区域:
session = agent.run_step(session) # 此时已经得到完整调用信息了,调用risk_detection API,将API返回结果给Agent继续执行 AgentSessionHelper.set_tool_output(session, "金财互联数据服务有限公司1月份存在异常经营风险")
主账号(最终租户)默认拥有系统管理员权限,支持给子账号分配角色。 角色包括:推理服务API调用人员、模型开发人员、运营人员、Prompt工程人员、系统管理员。 图9 设置用户角色 表2 角色和功能关系 功能 推理服务API调用人员 模型开发人员 运营人员 Prompt工程人员 系统管理员 总览
盘古推理SDK简介 推理SDK概述 盘古大模型推理SDK是对REST API进行的封装,通过该SDK可以处理用户的输入,生成模型的回复,从而实现自然流畅的对话体验。 表1 推理SDK清单 SDK分类 SDK功能 支持语言 使用场景 推理SDK 对话问答(多轮对话)(/chat/completions)
它不仅能够提供完整的代码实现,还能够根据用户的需求,进行代码补全和不同编程语言之间的改写转化。 借助盘古大模型,程序员可以更加专注于创新和设计,而无需过多关注繁琐的编码工作。它不仅提升了代码的质量和稳定性,还缩短了开发周期,加速了产品的迭代和发布。
服务端返回的json数据不符合json反序列化的规则,和sdk定义的数据结构不一致,导致反序列化失败。 sdk json数据解析问题。 建议排查服务端返回的数据是否和服务SDK设计的结构、字段一致。 SDK运行报错 java.lang.NoClassDefFoundError: Could not initialize
agent.react_pangu_agent import ReactPanguAgent from pangukitsappdev.api.llms.factory import LLMs agent = ReactPanguAgent(LLMs.of("pangu", l
应用的首选。 创作能力强 盘古大模型通过海量数据训练,能够捕捉更多语言规律和特征,在各类处理任务中表现出色。无论是生成文章、撰写报告,还是设计广告文案,盘古大模型都能根据输入需求灵活调整,生成符合预期的高质量内容。 推理速度快 盘古大模型采用了高效的深度学习架构和优化算法,显著提
如果指标低是由于提示词(prompt)设置不合理,可以通过在模型训练阶段扩大训练集和验证集来优化模型,从而改善评估结果。另外,还可以将评估数据集设计得更接近训练集的数据,以提升评估结果的准确性。 父主题: 评估盘古大模型
盘古模型信息,根据实际情况填写 sdk.llm.pangu.url= 工程实现。 import docx from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.skill.doc.summary import
skill.doc.summary import DocSummaryMapReduceSkill from pangukitsappdev.api.llms.factory import LLMs # 设置SDK使用的配置文件 os.environ["SDK_CONFIG_PATH"]
例如,需要构建一个企业助理应用,该应用需要具备预定会议室、创建在线文档和查询报销信息等功能。在构建此应用时,需要将预定会议室与创建在线文档等功能的API接口定义为一系列的工具,并通过AI助手,将这些工具与大模型进行绑定。当用户向AI助手提问时,大模型就会根据用户的问题自动规划调用相应工具,从而实现对应的功能。
移除文本的目录和封面。 图注标注过滤 移除文本中的图标和标注信息。 参考文献过滤 移除文本中参考文献的信息。 数据去重 去重 移除文本中重复内容。 数据安全 数据脱敏 识别并对文本中电话号码、邮箱、身份证等信息进行脱敏。 敏感词过滤 识别并过滤文本中包含的涉黄、涉暴、涉政等敏感词。 通用清洗 正则替换
pangu.dev.sdk.api.agent.Agent; import com.huaweicloud.pangu.dev.sdk.api.annotation.AgentTool; import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs;
huaweicloud.pangu.dev.sdk.skill.DocSkill; import com.huaweicloud.pangu.dev.sdk.api.skill.Skills; import com.huaweicloud.pangu.dev.sdk.documentloader.splitter
息可以增强模型的理解和回答能力。 该参数需要与工具配合使用,需要填入工具input_schema参数中API的请求参数。例如,在配置AI助手工具的代码示例中,创建预定会议室API的请求参数中有start,设置为start,即将会议的开始相关的信息作为关键信息,带入新轮次的对话中。
huaweicloud.pangu.dev.sdk.template.PromptTemplate; import org.junit.jupiter.api.Assertions; import java.util.HashMap; // 初始化Prompt模板对象 PromptTemplate
间以原到期时间为准,需支付从进入保留期开始至续费时的费用。 账户欠费后,部分操作将受限,建议您尽快续费。具体受限操作如下: 按需方式的API接口不可调用。 无法开通服务。 服务到期 包年包月服务到期后,保留期时长将根据“客户等级”定义。在保留期内的资源处理和费用请参见“保留期”。
通过IAM,您可以在华为云账号中为员工创建IAM用户(子用户),并授权控制他们对华为云资源的访问范围。例如,对于负责软件开发的人员,您希望他们拥有接口的调用权限,但不希望他们拥有训练模型或访问训练数据的权限,那么您可以先创建一个IAM用户,并设置该用户在盘古平台中的角色,控制他们对资源的使用范围。
] = "./llm.properties" 完整配置项如下: 配置项中的密码等字段建议在配置文件或者环境变量中密文存放,使用时解密,确保安全,详见配置文件敏感信息加密配置。 ################################ GENERIC CONFIG ####