检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
</dependency> Python 使用pip安装。 #回显Successfully installed xxx表示安装成功 # 安装核心库 pip install huaweicloudsdkcore # 安装盘古服务库 pip install huaweicloudsdkpangulargemodels
模型刚开始训练时,如果选择一个较大的学习率,可能导致模型训练不稳定。选择使用warmup热身的方式,可以使开始训练的热身阶段内学习率较小,模型可以慢慢趋于稳定,待模型相对稳定后再逐渐提升至预设的最大学习率进行训练。使用热身可以使得模型收敛速度更快,效果更佳。 当前盘古-NLP-N4-基模型支持自监督训练。
计费说明 计费项 关于盘古大模型的详细费用信息,敬请咨询华为云售前咨询,我们将为您提供专业的解答和支持。 盘古NLP大模型分为模型订阅服务、训练服务和推理服务三个收费项。 模型订阅服务和推理服务按调用时长计费,时长精确到秒。 训练服务按实际消耗的Tokens数量计费,话单周期内的Tokens计算精确到1K
准备盘古大模型训练数据集 训练数据集创建流程 模型训练所需数据量与数据格式要求 创建一个新的数据集 检测数据集质量 清洗数据集(可选) 发布数据集 创建一个训练数据集
单任务中模糊的指示也会取得较好的效果,但对于规则越复杂的任务,越需要应用这些技巧来输出一个逻辑自洽、清晰明了的指令。 提示词是什么 提示词也称为Prompt,是与大模型进行交互的输入,可以是一个问题、一段文字描述或者任何形式的文本输入。 提示词要素 指令:要求模型执行的具体任务或
、训练、评估、压缩、部署、推理和迁移等功能,支持模型的自动化评估,确保模型的高性能和可靠性。通过高效的推理性能和跨平台迁移工具,模型开发套件能够保障模型在不同环境中的高效应用。 应用开发套件 应用开发套件是盘古大模型平台的关键模块,支持提示词工程和AI助手创建。该套件提供提示词设
text_key="name", vector_fields=["description"], distance_strategy="inner_product"
增加人设可以让生成的内容更符合该领域需求。 例如,“假设你是一位银行面试官,请生成10个银行面试问题。”、“假如你是一个高级文案策划,请生成10个理财产品的宣传文案。”、“你是一个财务分析师,请分析上述财务指标的趋势。” 父主题: 进阶技巧
可以采用PPL(困惑度),或训练一个二分类模型等方式过滤脏数据。 数据增强:您可以通过一些规则来提升数据的多样性,比如:同义词替换、语法结构修改、标点符号替换等,保证数据的多样性。 基于大模型的数据泛化:您可以通过调用大模型(比如盘古提供的任意一个规格的基础功能模型)来获取目标场
text_key="name", vector_fields=["description"], distance_strategy="inner_product"
清洗算子功能介绍 数据清洗是提高数据质量的重要环节,包括去除异常的字符、去除表情符号和去除个人敏感内容等,经过清洗的数据可以提升训练阶段的稳定性。 平台支持通过以下清洗能力: 表1 清洗算子说明 算子类型 功能 说明 数据转换 全角转半角 将文本中的所有全角字符转换成半角字符。 中文繁简体互转
一”区域对应的project id。 图3 获取user name、domain name、project id 打开Postman,新建一个POST请求,并输入“西南-贵阳一”区域的“获取Token”接口。并填写请求Header参数。 接口地址:https://iam.cn-southwest-2
"text": "故事标题:《穿越宋朝的奇妙之旅》在一个阴雨绵绵的夜晚,一个名叫李晓的年轻人正在阅读一本关于宋朝的历史书籍。突然,他感到一阵眩晕,当他再次睁开眼睛时,他发现自己身处一个完全陌生的地方。李晓发现自己穿越到了宋朝。他身处一座繁华的城市,人们穿着古
推理参数(解码参数)是一组用于控制模型生成预测结果的参数,其可以用于控制模型生成结果的样式,如长度、随机性、创造性、多样性、准确性和丰富度等等。 当前,平台支持的推理参数包括:温度、核采样以及话题重复度控制,如下提供了这些推理参数的建议值和说明,供您参考: 表1 推理参数的建议和说明 推理参数 范围
80d14e684b", "name": "project_name", "description": "", "links": { "next": null,
Integer 生成文本的最大token数量。 输入的文本加上生成的文本总量不能超过模型所能处理的最大长度。 最小值:1 最大值:不同模型支持的token长度,请参见《产品介绍》“模型规格 > 模型基础信息”章节。 缺省值:默认部署时token长度最大值,请参见《产品介绍》“模型规格
多轮问答场景的输入(“context”字段)请务必使用“[问题, 回答, 问题, 回答, 问题, ……]”的方式来构造,若您的数据是同一个角色连续多次对话的“多轮问题”,可以将同一个角色的对话采用某个分隔符拼接到一个字符串中。例如: 原始对话示例: A:xxx号话务员为您服务! A:先生您好,有什么可以帮助您的? B:你好,是这样的
开源模型 SDK支持兼容OpenAI-API规范的开源模型。例如,用vllm框架使用OpenAI-API启动推理服务。当前鉴权方式支持AppCode鉴权和华为云的APIG简易认证方式。配置文件需要指定url和key,配置项为: sdk.llm.openai.url=https:/
实例化Agent Agent实例化过程包括注册LLM和注册工具两个部分。 from pangukitsappdev.agent.react_pangu_agent import ReactPanguAgent from pangukitsappdev.api.llms.factory
setCache(Caches.of(Caches.IN_MEMORY)); llm.ask("你能讲一个笑话吗?") 此时,再次使用同样的问题,则不会再调用大模型,而是直接从内存返回: llm.ask("你能讲一个笑话吗?") Cache缓存有以下几个操作: 初始化:指定缓存使用哪种存储方式。例如,使用内存型缓存可以设置为Cache