检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
写作示例 意图匹配 面试问题生成 父主题: 提示词写作实践
块中相关的信息以获取最优化任务解决策略。 任务执行:能通过工具与外界发生联系并产生影响,工具可以自定义,包括查询信息、调用服务、网络搜索、文件管理、调用云服务等,通过Agent构建一个让LLM按照特定的规则迭代运行的Prompt,直到任务完成或者达到终止条件(如设置迭代次数)。 实例化Tool(Java
体验盘古大模型功能 申请体验盘古大模型服务 体验盘古预置模型能力 体验盘古驱动的应用百宝箱
部署盘古大模型 部署为在线服务 部署为边缘服务
AI助手 什么是AI助手 配置AI助手工具 配置知识库 创建AI助手 调测AI助手 调用AI助手API
授权后,在调用盘古大模型能力时,模型的输入和输出将分别调用一次内容审核服务,该服务为付费项,用户可按需购买。 若不使用,您也可以自行对接第三方内容审核服务。关于大模型生成内容的责任主体,请参考《盘古大模型服务协议》。 启用内容审核服务 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,单击“开启内容审核”,进行授权。
盘古推理SDK简介 推理SDK概述 盘古大模型推理SDK是对REST API进行的封装,通过该SDK可以处理用户的输入,生成模型的回复,从而实现自然流畅的对话体验。 表1 推理SDK清单 SDK分类 SDK功能 支持语言 使用场景 推理SDK 对话问答(多轮对话)(/chat/completions)
右侧代码示例会自动完成参数的组装。 图2 设置输入参数 填写输入参数时,deployment_id为模型部署ID,可以在盘古大模型套件平台“服务管理”功能中获取。 图3 服务管理 图4 获取deployment_id
的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
区域是一个地理区域的概念。我国地域面积广大,由于带宽的原因,无法仅依靠一个数据中心为全国客户提供服务。因此,根据地理区域的不同将全国划分成不同的支持区域。 盘古大模型当前仅支持西南-贵阳一区域。 图1 盘古大模型服务区域 父主题: 模型能力与规格
应用开发工具链 能力调测 应用百宝箱 数据工程工具链 数据是大模型训练的基础,为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分,具备数据获取、清洗、配比和管理等功能。 该工具链能够高效收集和处理各种格式的数据,满足不同训练和评测任务的需求。通过提供自
约束与限制 受技术等多种因素制约,盘古大模型服务存在一些约束限制。 每个模型请求的最大Token数有所差异,详细请参见模型的基础信息。 模型所支持的训练数据量、数据格式要求请参见《用户指南》“准备盘古大模型训练数据集 > 模型训练所需数据量与数据格式要求”。
Operator 拥有该权限的用户可以切换角色到委托方账号中,访问被授权的服务。 Tenant Administrator 全部云服务管理员(除IAM管理权限)。 Security Administrator 统一身份认证服务(除切换角色外)所有权限。 图3 添加用户组权限 设置最小授权范围。
opened API. 账号未开通该API服务。 请确认是否已开通该API服务。 PANGU.3308 The accessed API does not match the existing API. 访问的API与已开通的API服务不匹配。 请确认调用的API是否填写错误。 PANGU
身份认证与访问控制 用户可以通过调用REST网络的API来访问盘古大模型服务,有以下两种调用方式: Token认证:通过Token认证调用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。经过认证的请求总是需要
知识库分为自定义知识库、引用知识库。 自定义知识库:通过盘古大模型套件平台创建的知识库。 引用知识库:引用在KooSearch服务中创建的知识库,KooSearch是基于大模型的文档问答服务,开通该服务请联系云搜索服务(CSS)技术支持。 图1 创建知识库 选择知识库类型后,单击“创建”进入知识库设置页面,创建知识库。
HTTP请求方法(也称为操作或动词),它告诉服务你正在请求什么类型的操作。 GET:请求服务器返回指定资源。 PUT:请求服务器更新指定资源。 POST:请求服务器新增资源或执行特殊操作。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器资源头部。 PATCH:请求服务器更新资源的部
每个Token代表模型处理和生成文本的基本单位,它可以是一个单词、字符或字符的片段。模型的输入和输出都会被转换成Token,并根据模型的概率分布进行采样或计算。训练服务的费用按实际消耗的Token数量计算,即实际消耗的Token数量乘以Token的单价。为了帮助用户更好地管理和优化Token消耗,平台提供
的多种大模型服务,支持大模型的定制开发,并提供覆盖全生命周期的大模型工具链。 盘古大模型为开发者提供了一种简单高效的方式来开发和部署大模型。通过数据工程、模型开发和应用开发等功能套件,帮助开发者充分发挥盘古大模型的强大功能。企业可根据自身需求选择合适的大模型相关服务和产品,轻松构建自己的模型。