正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
和需求。不同模型在处理上下文token长度和功能上有所差异,以下是当前支持的模型清单,您可以根据实际需求选择最合适的模型进行开发和应用。 表1 NLP大模型清单 模型类别 模型 token 简介 NLP大模型 盘古-NLP-N1-基础功能模型-32K 部署可选4096、32768
Unauthorized 在客户端提供认证信息后,返回该状态码,表明服务端指出客户端所提供的认证信息不正确或非法。 402 Payment Required 保留请求。 403 Forbidden 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝
者荣耀”。 在盘古大模型中,以N1系列模型为例,盘古1token≈0.75个英文单词,1token≈1.5汉字。不同模型的具体情况详见表1。 表1 token比 模型规格 token比(token/英文单词) token比(token/汉字) N1系列模型 0.75 1.5 N2
vector_api = Vectors.of("css", vector_store_config) # 检索 query = "杜甫的诗代表了什么主义诗歌艺术的高峰?" docs = vector_api.similarity_search(query, 4) # 问答 doc_skill
ment-062102") .build()); // 检索 String query = "杜甫的诗代表了什么主义诗歌艺术的高峰?"; List<Document> docs = cssVector.similaritySearch(query
准备工作 使用盘古大模型Java SDK时,需要在代码中配置以下信息,请提前收集。 表1 资源列表 类型 资源 是否必选 依赖信息 参考文档 备注 大语言模型 华为云盘古 是(大语言模型至少选一个) 盘古模型API调用URL。 华为云IAM账号认证信息。 盘古大模型API参考文档:
容操作。 图4 扩容模型推理资产 不同类型的模型在部署时,做占用的推理资产数量存在差异,部署模型时所占的推理资产数量与模型类型关系如下。 表1 部署模型 模型类型 推理资产占有数量 盘古-NLP-N1 系列模型 部署1实例占用0.125个推理单元。 盘古-NLP-N2 系列模型 部署1实例占用0
使用Postman调用API 获取API请求地址。 在“服务管理”页面,单击所需API的“查看详情”按钮。 图1 服务管理 在“模型列表”中选择需要调用的模型,单击操作栏中的“调用路径”,复制对应模型的API请求地址。 图2 获取API请求地址 获取Token。 在调用盘古A
使用Postman调用API 获取API请求地址。 在“服务管理”页面,单击所需API的“查看详情”按钮。 图1 服务管理 在“服务列表”中选择需要调用的模型,单击操作栏中的“调用路径”,复制对应模型的API请求地址。 图2 获取API请求地址 获取Token。 在调用盘古A
在预训练、微调、模型评估、模型压缩和在线推理等方面的支持程度各不相同,开发者应根据自身需求选择合适的模型。以下是各个模型支持的具体操作: 表1 模型支持的操作 模型 预训练 微调 模型评估 模型压缩 在线推理 盘古-NLP-N1-基础功能模型-8K - √ √ - √ 盘古-NLP-N1-基础功能模型-32K
推理SDK概述 盘古大模型推理SDK是对REST API进行的封装,通过该SDK可以处理用户的输入,生成模型的回复,从而实现自然流畅的对话体验。 表1 推理SDK清单 SDK分类 SDK功能 支持语言 使用场景 推理SDK 对话问答(多轮对话)(/chat/completions) Java、Python、Go、
登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“部署”。 在创建部署页面,完成部署配置,填写基本信息。 表1 部署配置参数 参数名称 说明 选择模型 选择需要部署的模型。 推理资源 选择非限时免费的模型时显示。选择盘古大模型服务提供的在线推理资产。
AI助手具备以下核心功能: 大模型调用能力:AI助手可以根据特定的指令调用NLP大模型,以改变AI助手的回复方式,使其更好地响应用户的需求。例如,让AI助手表现得更加友好、专业,或者更加幽默。 多工具混合调用:AI助手可以集成不同功能的工具来解决问题,这使得AI助手能够处理各种复杂的任务。 统一调
huaweicloud.pangu.dev.sdk.api.embedings.Embeddings; String query = "杜甫的诗代表了什么主义诗歌艺术的高峰?"; // 初始化向量库 Vector cssVector = Vectors.of(Vectors.CSS,
from pangukitsappdev.skill.doc.ask import DocAskStuffSkill query = "杜甫的诗代表了什么主义诗歌艺术的高峰?" # 初始化向量库 vector_store_config = VectorStoreConfig(store_name="css"
retrievedTools); } } 其中,toolProvider中实现了provide接口,可以利用工具检索的返回动态构建出工具列表,同时也可以加一些后处理工作,如根据黑白名单做工具的过滤。 与上述的toolProvide呼应,在向toolRetriever中添加工具时,
性、准确性和丰富度等等。 当前,平台支持的推理参数包括:温度、核采样以及话题重复度控制,如下提供了这些推理参数的建议值和说明,供您参考: 表1 推理参数的建议和说明 推理参数 范围 建议值 说明 温度(temperature) 0~1 0.3 温度主要用于控制模型输出的随机性和创
为重要参数,该描述直接影响LLM对入参的提取,尽量描述清楚。如果Agent实际执行效果不符合预期,可以调整。 output_desc。工具的出参描述,当前对Agent的表现无重要影响。 args_schema。工具入参类型,为重要参数,入参继承BaseModel的类型需额外指定,简单类型无需指定。 retur
大模型的安全性需要从哪些方面展开评估和防护 盘古大模型的安全性主要从以下方面考虑: 数据安全和隐私保护:大模型涉及大量训练数据,这些数据是重要资产。为确保数据安全,需在数据和模型训练的全生命周期内,包括数据提取、加工、传输、训练、推理和删除的各个环节,提供防篡改、数据隐私保护、加
运行Agent 单轮执行 调用run接口运行一个Agent: agent.run("帮我定个下午3点到8点2303会议室") Agent的运行时会进行自我迭代,并且选择合适的工具,在日志中打印最终的执行结果: 用户: 帮我定个下午3点到8点2303会议室 助手: 好的,2023-11-17