检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API 通过API文档的概述、NLP大模型API和多模态模型API的详细介绍,您将全面理解如何调用和集成盘古大模型的各类接口,确保在不同场景中灵活应用这些强大的模型能力,加速业务开发进程。 API文档 概述 NLP大模型 Token计算器 02 购买 了解盘古大模型的计费信息、购买准备
“西南-贵阳一”区域对应的project id。 图1 查看盘古服务区域 图2 获取user name、domain name、project id 下载并安装Postman调测工具。 打开Postman,新建一个POST请求,输入“西南-贵阳一”区域的“获取Token”接口,并填写请求Header参数。
您可根据真实的任务类型进行调整。一般来说,如果目标任务的需要生成更具创造性的内容,可以使用较高的温度,反之如果目标任务的需要生成更为确定的内容,可以使用较低的温度。 请注意,温度和核采样的作用相近,在实际使用中,为了更好观察是哪个参数对结果造成的影响,因此不建议同时调整这两个参数。 如果您没有专业的调优经验,可以优先使用建议,再结合推理的效果动态调整。
如何调整训练参数,使模型效果最优 模型微调参数的选择没有标准答案,不同的场景,有不同的调整策略。一般微调参数的影响会受到以下几个因素的影响: 目标任务的难度:如果目标任务的难度较低,模型能较容易的学习知识,那么少量的训练轮数就能达到较好的效果。反之,若任务较复杂,那么可能就需要更多的训练轮数。
开启内容审核后,可以有效拦截大模型输入、输出的有害信息,保障模型调用安全。 NLP模型在流式输出时,同样支持内容审核。特别是模型生成超长内容时,通过实时审核模型生成的内容片段,可以有效降低首token的审核时延,同时确保用户看到的内容是经过严格审核的。 图3 大模型内容审核 购买内容审核
开通盘古大模型服务 调用模型之前,需要先开通盘古大模型服务。 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 文本补全:提供单轮文本能力,常用于文本生成、文本摘要、闭卷问答等任务。 多轮对话:提供多轮文本能力,常用于多轮对话、聊天任务。
Service,CTS)是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后,CTS可记录用户使用盘古的管理事件和数据事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。
检查开发环境要求,确认本地已具备开发环境。 开通盘古大模型API。 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 通用文本(文本补全):文本补全接口提供单轮文本能力,常用于文本生成、文本摘要、闭卷问答等任务。 对话问答(
缘部署,输入推理实例数(根据边缘资源池的实际资源选择),输入服务名称,单击“立即创建”。 创建成功后,可在“模型部署 > 边缘部署”,查看边缘部署列表。 单击“服务名称”可进入服务详情界面。 如果服务部署状态为“部署失败”,可单击服务操作列的“启动”按钮,重新部署。 父主题: 部署为边缘服务
少于xx个字的文本。”,将回答设置为符合要求的段落。 续写:根据段落的首句、首段续写成完整的段落。 若您的无监督文档没有任何结构化信息,可以将有监督的问题设置为“以下是一篇文章的第一个句子:xxx/第一段落:xxx。请根据以上的句子/段落,续写为一段不少于xx个字的文本。”,再将回答设置为符合要求的段落。
查看训练任务详情与训练指标 模型启动训练后,可以在模型训练列表中查看训练任务的状态,单击任务名称可以进入详情页查看训练指标、训练任务详情和训练日志。 图1 模型训练列表 不同类型的训练方法可支持查看的训练指标有所差异,训练指标和训练方法的关系如下: 表1 训练指标和训练方法对应关系
查看提示词评估结果 评估任务创建完成后,会跳转至“评估”页面,在该页面可以查看评估状态。 图1 查看评估状态 单击评估名称,进入评估任务详情页,可以查看详细的评估进度。例如,在图2中有10条评估用例,当前已经评估了8条,剩余2条待评估。 图2 查看评估进展 评估完成后,进入“评估
模型训练完成后,可以通过迁移(导入模型、导出模型)功能将本局点训练的模型导出,或将其他局点训练的模型导入本局点进行使用。 支持迁移操作的模型可以在“模型开发 > 模型管理 > 我的模型”中查看。 图1 模型管理 导入/导出模型 以从环境A迁移模型到环境B为例: 登录环境B的盘古大模型套件平台,在“模型开发 >
Explorer可根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码。 图1 获取SDK代码示例 当您在中间填充栏填入对应内容时, 右侧代码示例会自动完成参数的组装。 图2 设置输入参数 填写输入
一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 项目 华为云的区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该区域的所有资源。如果您希望
调用说明 盘古大模型提供了REST(Representational State Transfer)风格的API,支持您通过HTTPS请求调用,调用方法请参见如何调用REST API。 调用API时,需要用户网络可以访问公网。 父主题: 使用前必读
配置AI助手工具 各种功能的API经封装后,将形成一个个工具,AI助手通过大模型来调用不同的工具,实现相应的功能。在创建AI助手前,需要将使用的功能封装为工具。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 工具管理”,单击页面右上角“创建工具”。 图1 工具管理
自监督训练 使用不含有标记的数据进行模型训练。 创建自监督微调训练任务 有监督训练 使用含有标记的数据进行模型训练,以学习输入和输出之间的映射关系。 创建有监督训练任务 模型评估 创建模型评估任务 训练完成后评估模型的回答效果。 创建模型评估任务 查看模型评估结果 查看模型评估指标和评估结果。
应用增强功能”。用户可根据需求自行选择功能模型,输入资源名称,类型选择“边缘部署”,输入需要订购的推理算力,单击“确认订单”。 订购完成后,进入“平台管理 > 资产管理 > 模型推理资产”,可查看订购的边缘部署资产。 父主题: 部署为边缘服务
每个Token代表模型处理和生成文本的基本单位,它可以是一个单词、字符或字符的片段。模型的输入和输出都会被转换成Token,并根据模型的概率分布进行采样或计算。训练服务的费用按实际消耗的Token数量计算,即实际消耗的Token数量乘以Token的单价。为了帮助用户更好地管理和优化