检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
其衍生模型,使用通用模型或其他模型无法运行。当前的moduleVersion需要配置为“N2_agent_v2”,如上例所示,因此模型的url要配置为Pangu-NLP-N2-Default模型的地址。 支持注册开源模型,开源模型的定义可参考开源模型。 final LLM llm
每个Token代表模型处理和生成文本的基本单位,它可以是一个单词、字符或字符的片段。模型的输入和输出都会被转换成Token,并根据模型的概率分布进行采样或计算。训练服务的费用按实际消耗的Token数量计算,即实际消耗的Token数量乘以Token的单价。为了帮助用户更好地管理和优化
s Key(AK)和Secret Access Key(SK)。下载的访问密钥为credentials.csv文件,包含AK/SK信息。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 使用推理SDK章
根据智能客服场景,建议从以下方面考虑: 根据企业实际服务的场景和积累的数据量,评估是否需要构建行业模型,如电商、金融等。 根据每个客户的金牌客服话术,可以对对话模型进行有监督微调,进一步优化其性能。 根据每个客户的实际对话知识,如帮助文档、案例库和FAQ库等,可以使用“先搜后推”的解决方案。客户的文档库可以实时更新,
project id参数需要与盘古服务部署区域一致。例如,盘古大模型部署在“西南-贵阳一”区域,需要获取与“西南-贵阳一”区域对应的project id。 图1 查看盘古服务区域 图2 获取user name、domain name、project id 下载并安装Postman调测工具。
提供高质量的数据支撑。 支持区域: 西南-贵阳一 创建一个新的数据集 检测数据集质量 清洗数据集 发布数据集 模型开发套件 模型开发套件是盘古大模型的核心组件,提供从模型创建到部署的一站式解决方案。该套件具备模型管理、训练、评估、压缩、部署、推理和迁移等功能,支持模型的自动化评估,确保模型的高性能和可靠性。
split(通过配置文件指定filePath和mode) DocSplit docPanguSplit = DocSplits.of(DocSplits.PANGUDOC); 其中,filePath指的是需要解析的文档路径,mode为分割解析模式,具体定义如下: 0 - 返回文档的原始段落,不做其他处理。
支持expire_after_write) 语义缓存是一种基于向量和相似度的缓存方法,它可以实现对数据的语义匹配和查询。语义缓存可以根据不同的向量存储、相似算法、评分规则和阈值进行配置,并且可以使用不同的词向量模型进行嵌入。 from pangukitsappdev.api.memory
AI助手 什么是AI助手 配置AI助手工具 配置知识库 创建AI助手 调测AI助手 调用AI助手API
初始化带参数的盘古LLM LLM pangu = LLMs.of(LLMs.PANGU, llmConfig); pangu.ask("写一篇五言律诗").getAnswer(); 支持调整的参数解释。 private int maxTokens; // 完成时要生成的令牌的最大数量
在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 图1 服务管理 在“概览 > 服务列表”中选择需要调用的模型,并单击操作列的“调用路径”。 图2 服务概览页面 在弹窗中可获取对应模型的API请求地址。其中,路径选中部分即为模型的部署ID(deployment_id)。
DocSplit为例。 其中,filePath指的是需要解析的文档路径;mode为分割解析模式,具体定义如下: 0 - 返回文档的原始段落,不做其他处理。 1 - 根据标注的书签或目录分段,一般适合有层级标签的word文档。 2 - 根据内容里的章节条分段,适合制度类文档。 3 - 根据长度分
使用API调用模型 用户可以通过API调用盘古大模型服务提供的基模型以及用户训练后的模型。训练后的模型需使用“在线部署”,才可以使用本章节提供的方法进行调用。本章节分别介绍使用Postman调用API和多语言(Java/Python/Go)调用API的方法,仅供测试使用。 前提条件 使用API调用模型前,需要先开通盘古大模型服务。
Python SDK 安装SDK 配置SDK LLMs(语言模型) Prompt(提示词模板) Memory(记忆) Skill(技能) Agent(智能代理) 应用示例 父主题: 盘古应用开发SDK
少于xx个字的文本。”,将回答设置为符合要求的段落。 续写:根据段落的首句、首段续写成完整的段落。 若您的无监督文档没有任何结构化信息,可以将有监督的问题设置为“以下是一篇文章的第一个句子:xxx/第一段落:xxx。请根据以上的句子/段落,续写为一段不少于xx个字的文本。”,再将回答设置为符合要求的段落。
Java SDK 安装SDK 配置SDK LLMs(语言模型) Prompt(提示词模板) Memory(记忆) Skill(技能) Agent(智能代理) 应用示例 父主题: 盘古应用开发SDK
调用盘古大模型API 用户可以通过API调用盘古大模型服务的基模型以及用户训练后的模型。训练后的模型只有在使用“在线部署”功能时,才可以使用本章节提供的方法进行调用。本章节将介绍如何使用Postman调用API,仅供测试使用。 前提条件 使用API调用模型前,请先完成盘古大模型服务订购和开通操作。
模型训练提供高质量的数据支撑。 模型开发套件 模型开发套件是盘古大模型服务的核心组件,提供从模型创建到部署的一站式解决方案。该套件具备模型管理、训练、评估、压缩、部署、推理和迁移等功能,支持模型的自动化评估,确保模型的高性能和可靠性。通过高效的推理性能和跨平台迁移工具,模型开发套件能够保障模型在不同环境中的高效应用。
检查数据中是否存在连续两个及以上的换行符。 表2 健康度状态说明 正常数据量 健康度颜色 是否可用于训练 >=80% 绿色 可用 >=40% 黄色 预警,需要优化数据 <40% 红色 告警,需要优化数据 正常数据量:数据集中,有效数据占总体数据的比例。 预警:数据集中,有效数据占总体数据的比例在40%
创建一个新的数据集 数据集是指用于训练模型或评估的一组相关数据样本。存储在OBS中的数据可以通过数据集的形式放置在到盘古平台中,便于管理。 在创建数据集之前,请先将数据上传至OBS平台。 上传数据至OBS 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据管理”,单击界面右上角“创建数据集”。