正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
d} (/chat/completions在SDK代码中已经进行了设置)。 IAM endpoint需要根据服务所在的区域正确配置,参考帮助文档“终端节点”章节查找。 参考IAM帮助文档,获取账号相关信息。 华为云Gallery托管三方模型 否 Gallery三方托管模型API调用URL。
如果您需要对华为云上购买的盘古资源,为企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(IAM)并结合盘古大模型套件平台提供的“角色管理”功能实现精细的权限管理。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户(子用户)进行权
Agent(智能代理),用于对复杂任务的自动拆解与外部工具调用执行,一般包括任务规划、记忆系统、执行系统: 任务规划:将复杂目标任务分解为小的可执行子任务,通过评估、自我反思等方式提升规划成功率。 记忆系统:通过构建记忆模块去管理历史任务和策略,并让Agent结合记忆模块中相关的信息以获取最优化任务解决策略。
Agent(智能代理),用于对复杂任务的自动拆解与外部工具调用执行,一般包括任务规划、记忆系统和执行系统。 任务规划:将复杂目标任务分解为小的可执行子任务,通过评估、自我反思等方式提升规划成功率。 记忆系统:通过构建记忆模块去管理历史任务和策略,并让Agent结合记忆模块中相关的信息以获取最优化任务解决策略。
盘古大模型服务使用对象存储服务(Object Storage Service,简称OBS)进行数据存储,实现安全、高可靠和低成本的存储需求。因此,为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。 使用主账号登录盘古大模型套件平台。 在左侧菜单选择“平台管理 > 授权管理”,单击右上角“一键授权”进行授权。
启用模型内容审核 内容审核是文本的检测技术,可自动检测涉黄、涉暴、违规等内容,对用户向模型输入的内容、模型输出内容进行内容审核,帮助客户降低业务违规风险。 授权使用华为云内容审核,有效拦截大模型输入输出的有害信息,保障模型调用安全。 授权后,在调用盘古大模型能力时,模型的输入和输出将分别调用
优化大模型的输入提示,提升输出的准确性和相关性。 通过丰富的开发SDK,应用开发套件加速大模型应用的开发,满足复杂业务需求。 支持区域: 西南-贵阳一 提示词工程 AI助手 盘古应用开发SDK 能力调测 盘古大模型提供了便捷的“能力调测”功能,用户可以体验平台预置的多种模型功能,包括文本补全和多轮对话。
自定义模型 如果使用的模型不是盘古或者兼容OpenAI-API的开源模型,如,闭源模型或者裸机部署的自定义推理服务,可以通过继承AbstractLLM自定义一个模型,示例代码如下: @Slf4j public class CustomLLM extends AbstractLLM<LLMResp>
根据智能客服场景,建议从以下方面考虑: 根据企业实际服务的场景和积累的数据量,评估是否需要构建行业模型,如电商、金融等。 根据每个客户的金牌客服话术,可以对对话模型进行有监督微调,进一步优化其性能。 根据每个客户的实际对话知识,如帮助文档、案例库和FAQ库等,可以使用“先搜后推”的解决方案。客户的文档库可以实时更新,
灵活使用所有华为云提供的服务。 进入华为云官网,参考账号注册指导及界面提示信息,完成账号注册。 注册成功后即可自动登录华为云,您需要完成“实名认证”才可以正常使用服务。具体认证方式请参见实名认证。 获取账号信息 在调用服务API、SDK时,需要将账号相关的信息作为API凭证传入代码。
盘古大模型致力于深耕行业,打造多领域的行业大模型和能力集。其核心能力依托于盘古大模型套件平台,该平台是华为云推出的集数据管理、模型训练和模型部署为一体的一站式大模型开发与应用平台。平台提供了包括盘古大模型在内的多种大模型服务,支持大模型的定制开发,并提供覆盖全生命周期的大模型工具链。 盘古大模
约束与限制 受技术等多种因素制约,盘古大模型服务存在一些约束限制。 每个模型请求的最大Token数有所差异,详细请参见模型的基础信息。 模型所支持的训练数据量、数据格式要求请参见《用户指南》“准备训练数据集 > 模型训练所需数据量与数据格式要求”。
能力调测通过图形化问答界面,提供了快速访问盘古大模型能力的入口。用户可以通过能力调测调用基模型与训练后的模型。 训练后的模型需要“在线部署”且状态为“运行中”时,才可以使用本章节提供的方法进行调测。 文本补全:给定一个提示和一些参数,模型会根据这些信息生成一个或多个预测的补全。例如,让模型依据要求写邮件、做摘要总结、生成观点见解等。
上下文记忆的对话、搜索增强等场景。 Memory(记忆)支持多种不同的存储方式和功能。 Cache缓存:是一种临时存储数据的方法,它可以提高数据的访问速度和效率。缓存可以根据不同的存储方式进行初始化、更新、查找和清理操作。缓存还可以支持语义匹配和查询,通过向量和相似度的计算,实现对数据的语义理解和检索。
上下文记忆的对话、搜索增强等场景。 Memory(记忆)支持多种不同的存储方式和功能。 Cache缓存:是一种临时存储数据的方法,它可以提高数据的访问速度和效率。缓存可以根据不同的存储方式进行初始化、更新、查找和清理操作。缓存还可以支持语义匹配和查询,通过向量和相似度的计算,实现对数据的语义理解和检索。
搜索增强 场景介绍 私有化场景下,大模型需要基于现存的私有数据提供服务。通过外挂知识库(Embedding、向量库)方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM
用户可以通过调用REST网络的API来访问盘古大模型服务,有以下两种调用方式: Token认证:通过Token认证调用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。经过认证的请求总是需要包含一个签名值,该签名值以请求者的访问密钥
搜索增强 场景介绍 私有化场景下,大模型需要基于现存的私有数据提供服务。通过外挂知识库(Embedding、向量库)方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM
session_tag="test-memory-0624")) 添加、查找、删除数据。 # 更新数据 chat_message.add_ai_message("i am ai.") chat_message.add_user_message("i am tester.") # 查找数据 contents = [msg
sessionTag(sessionTag).build()); 添加、查找、删除数据。 //更新数据 chatMessage.addAIMessage("i am ai."); chatMessage.addUserMessage("i am tester."); // 查找数据 chatMessage.getMessages()