检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
服务名称 在线服务的名称。 描述 在线服务的简要描述。 订阅提醒 勾选订阅提醒,并添加手机号/邮箱,系统将在训练任务完成或重要事件发生时,发送提醒。
调用边缘模型 调用边缘模型的步骤与使用“在线部署”调用模型的步骤相同,具体步骤请参考使用API调用模型。 父主题: 部署为边缘服务
训练后的模型需要“在线部署”且状态为“运行中”时,才可以使用本章节提供的方法进行调测,具体步骤请参见部署为在线服务。 文本补全:给定一个提示和一些参数,模型会根据这些信息生成一个或多个预测的补全。例如,让模型依据要求写邮件、做摘要总结、生成观点见解等。
例如,需要构建一个企业助理应用,该应用需要具备预定会议室、创建在线文档和查询报销信息等功能。在构建此应用时,需要将预定会议室与创建在线文档等功能的API接口定义为一系列的工具,并通过AI助手,将这些工具与大模型进行绑定。
训练后的模型需使用“在线部署”,才可以使用本章节提供的方法进行调用。本章节分别介绍使用Postman调用API和多语言(Java/Python/Go)调用API的方法,仅供测试使用。 前提条件 使用API调用模型前,需要先开通盘古大模型服务。
训练后的模型只有在使用“在线部署”功能时,才可以使用本章节提供的方法进行调用。本章节将介绍如何使用Postman调用API,仅供测试使用。 前提条件 使用API调用模型前,请先完成盘古大模型服务订购和开通操作。 使用Postman调用API 获取API请求地址。
不同模型在预训练、微调、模型评估、模型压缩和在线推理等方面的支持程度各不相同,开发者应根据自身需求选择合适的模型。
我是有问必答知识渊博的的智能问答机器人,有问题欢迎随时求助哦! 社区求助 华为云社区是华为云用户的聚集地。这里有来自容器服务的技术牛人,为您解决技术难题。
部署盘古大模型 部署为在线服务 部署为边缘服务
意图匹配 应用场景说明:智能客服系统中,大模型将客户问题匹配至语义相同的FAQ问题标题,并返回标题内容,系统根据匹配标题调出该FAQ问答对,来解答客户疑问。 父主题: 写作示例
HuaweiCloud.SDK.PanguLargeModels NodeJs 安装NodeJs库 npm install @huaweicloud/huaweicloud-sdk-core npm i @huaweicloud/huaweicloud-sdk-pangulargemodels 在线生成
公测 部署为在线服务
应用场景 智能客服 在政企场景中,传统的智能客服系统常受限于语义泛化能力和意图理解能力,导致用户需求难以准确捕捉,频繁转接至人工客服。这不仅增加了企业的运营成本,也影响了用户体验。盘古大模型的引入为这一问题提供了有效解决方案。 盘古大模型通过将客户知识数据转换为向量并存储在向量数据库中
在需要实时反馈的业务中,如在线客服和智能推荐,盘古大模型能够迅速提供准确的结果。 迁移能力强 盘古大模型的迁移能力是其适应多变业务需求的关键。除了在已有领域中表现出色,它还能通过少量的新数据快速迁移到新的领域或场景。
相关的数据格式包括但不限于:在线网页、离线word文档、离线txt文件、离线excel表格、离线PDF文件、扫描版word文档、扫描版PDF文件等。 微调数据要求: 数据格式样例:JSONL格式,每行是一条JSON,包含“context”和“target”两个字段。
响应示例如下,例如,对话机器人服务部署的区域为“cn-north-4”,响应消息体中查找“name”为“cn-north-4”,其中projects下的“id”即为项目ID。
"; case "y公司": return "y亿人民币"; case "z公司": return "z亿人民币"; default:
构造请求 本节介绍REST API请求的组成,并以调用IAM服务的获取用户Token接口说明如何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com
体验盘古预置模型能力 体验盘古预置模型能力前,请先完成申请体验盘古大模型服务操作。 登录盘古大模型套件平台,在左侧导航栏中单击“能力调测”。 如图1,能力调测页面提供了文本补全和多轮对话功能,且每种功能都提供了预置的盘古大模型供用户体验。用户可以在页面右侧进行参数设置,然后在输入框中输入问题
查看提示词评估结果 评估任务创建完成后,会跳转至“评估”页面,在该页面可以查看评估状态。 图1 查看评估状态 单击评估名称,进入评估任务详情页,可以查看详细的评估进度。例如,在图2中有10条评估用例,当前已经评估了8条,剩余2条待评估。 图2 查看评估进展 评估完成后,进入“评估报告