检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用generate命令生成的证书,指定--pkg-path后会自动创建到certs目录 ca.crt server.crt server.key k3s k3s // k3s可执行文件
调用盘古大模型API 用户可以通过API调用盘古大模型服务的基模型以及用户训练后的模型。训练后的模型只有在使用“在线部署”功能时,才可以使用本章节提供的方法进行调用。本章节将介绍如何使用Postman调用API,仅供测试使用。 前提条件 使用API调用模型前,请先完成盘古大模型服务订购和开通操作。
使用API调用模型 用户可以通过API调用盘古大模型服务提供的基模型以及用户训练后的模型。训练后的模型需使用“在线部署”,才可以使用本章节提供的方法进行调用。本章节分别介绍使用Postman调用API和多语言(Java/Python/Go)调用API的方法,仅供测试使用。 前提条件
部署为在线服务 模型训练完成后,即模型处于“已完成”状态时,可以启动模型的部署操作。 基于盘古大模型打造的专业大模型包括BI专业大模型与单场景大模型支持模型推理,但不支持模型训练。 部署为在线服务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“部署”。
调用边缘模型 调用边缘模型的步骤与使用“在线部署”调用模型的步骤相同,具体步骤请参考使用API调用模型。 父主题: 部署为边缘服务
量的要求较大,如果您的无监督文档量级过小,达不到预训练要求,您可以通过一些手段将其转换为有监督数据,再将转换后的领域知识与目标任务数据混合,使用微调的方式让模型学习。 这里提供了一些将无监督数据转换为有监督数据的方案,供您参考: 基于规则构建:您可以通过采用一些简单的规则来构建有监督数据。比如:
型能力的入口。用户可以通过在“能力调测”页面选择调用基模型或训练后的模型。 训练后的模型需要“在线部署”且状态为“运行中”时,才可以使用本章节提供的方法进行调测,具体步骤请参见部署为在线服务。 文本补全:给定一个提示和一些参数,模型会根据这些信息生成一个或多个预测的补全。例如,让
逻辑判断等能力,来理解和回应用户的需求。 例如,需要构建一个企业助理应用,该应用需要具备预定会议室、创建在线文档和查询报销信息等功能。在构建此应用时,需要将预定会议室与创建在线文档等功能的API接口定义为一系列的工具,并通过AI助手,将这些工具与大模型进行绑定。当用户向AI助手提
Css Embedding embedding_api = Embeddings.of("css") embedding单文本:把单个字符串转换为向量数据。(向量维度由模型确定)。 text = "this is a test text." # embed query. embedding
Embedding Embedding css = Embeddings.of(Embeddings.CSS); embedding单文本:把单个字符串转换为向量数据。(向量维度由模型确定)。 import java.util.List; String text = "this is a test
为至关重要。不同模型在预训练、微调、模型评估、模型压缩和在线推理等方面的支持程度各不相同,开发者应根据自身需求选择合适的模型。以下是各个模型支持的具体操作: 表1 模型支持的操作 模型 预训练 微调 模型评估 模型压缩 在线推理 盘古-NLP-N1-基础功能模型-32K - √ -
概念名 说明 Token 令牌(Token)是指模型处理和生成文本的基本单位。Token可以是词或者字符的片段。模型的输入和输出的文本都会被转换成Token,然后根据模型的概率分布进行采样或者计算。 例如,在英文中,有些组合单词会根据语义拆分,如overweight会被设计为2个T
部署盘古大模型 部署为在线服务 部署为边缘服务
描述清楚,如果Agent实际执行效果不符合预期,可以调整。 required。是否为可选参数。 注意:字段的命名需要以小写字母开头,否则在转换成标准的Json schema时会出现问题,导致模型精度受到影响。 上例中的InputParam为一个复杂的入参,如果工具的入参为基本类型,则不需要再额外定一个结构体,例如:
来源一:互联网开源数据集,如政府网站网页、政府在线问答公开数据、政务百科等。 来源二:特定的私域数据,针对于具体场景和项目需求,收集相关的文本数据。比如通过与当地政府的政数局进行合作,获取政府部门提供的内部脱敏数据等。相关的数据格式包括但不限于:在线网页、离线word文档、离线txt文件
开发,提供全生命周期工具链,帮助开发者高效构建与部署模型,企业可灵活选择适合的服务与产品,轻松实现模型与应用的开发。 产品介绍 立即使用 在线体验 图说ECS 成长地图 由浅入深,带您玩转盘古大模型 01 了解 了解盘古大模型的概念、优势、应用场景以及模型能力与规格,您将更全面地
大模型的计量单位token指的是什么 令牌(Token)是指模型处理和生成文本的基本单位。token可以是词或者字符的片段。模型的输入和输出的文本都会被转换成token,然后根据模型的概率分布进行采样或计算。 例如,在英文中,有些组合单词会根据语义拆分,如overweight会被设计为2个to
阶段的稳定性。 平台支持通过以下清洗能力: 表1 清洗算子说明 算子类型 功能 说明 数据转换 全角转半角 将文本中的所有全角字符转换成半角字符。 中文繁简体互转 简体转换成繁体或者繁体转换成简体。 去除不可见字符 移除文本中不可见字符,如U+0000-U+001F。 去除表情符
获取Token消耗规则 每个Token代表模型处理和生成文本的基本单位,它可以是一个单词、字符或字符的片段。模型的输入和输出都会被转换成Token,并根据模型的概率分布进行采样或计算。训练服务的费用按实际消耗的Token数量计算,即实际消耗的Token数量乘以Token的单价。为
型消除语义歧义性,识别用户查询意图,并直接生成支持下游操作的结构化JSON信息。大模型的NL2JSON能力可以从自然语言输入抽取关键信息并转换为JSON格式输出,以供下游操作,从而满足该场景下客户需求。 金融场景下,NL2JSON能力可以有效消除用户语义歧义性,提高数据处理的灵活