检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
务。 有效分发业务问题:AI助手可以根据用户的需求和工具的定位,自动对问题进行分发,这使得AI助手可以更准确地理解用户的需求,并提供相关的服务。 父主题: AI助手
模型推理资产即部署模型所需的cpu、gpu资源(专属资源池)。如果不订购推理资产,可以使用订购的盘古模型进行训练,但无法部署训练后的模型。 登录盘古大模型套件平台。 在服务“总览”页面,单击“立即购买”,平台将为您提交购买权限申请。如您有加急购买需求,可在页面右上角单击“工单 > 新建工单”,搜索“盘古大模型”产品,选择问题类型并提交工单。
数据管理 在创建数据集弹框中选择“创建一个新的数据集”,单击“创建”。 图2 创建数据集 在创建数据集页面,单击“前往OBS”,进入OBS服务页面。 图3 前往OBS 在OBS控制台页面,单击界面右上角“创建桶”。 图4 OBS页面 创建OBS桶时,桶区域需要与盘古大模型区域保持
about chickens" == format2 自定义prompt # 按约定的格式准备prompt文件; # 文档结构和文件名参考提供的系统预置prompts文件 文档结构示例: …… prompts -- default -- documents
"project": { "name": "cn-southwest-2" //服务当前部署在“西南-贵阳一”区域,取值为cn-southwest-2 } } } } 图5
网页搜索 开启网页搜索后,可以通过调用web搜索来解决模型对于事实类问题回答不好的现象。 添加一个工具 用于拓展AI助手功能,使其能够与外部系统进行交互。可以直接创建一个工具,或者从搜索框中选择已经创建好的工具。 知识库 通过知识库提升AI助手在特定领域问题的回答效果。 高级配置 工具召回策略
fewShotPromptTemplate.format(inputs); 自定义prompt // 按约定的格式准备prompt文件; // 文档结构和文件名参考提供的系统预置prompts文件 文档结构示例: …… prompts -- default -- documents
一个评估数据集内,上传的数据文件数量不得超过100个,单文件大小不得超过1GB,所有文件的总大小不得超过1GB。 数据格式要求 盘古大模型服务支持如下数据,格式要求请参见表3。 表3 盘古数据文件格式要求 数据类型 支持格式 数据样例 是否支持拆分(划分训练集/验证集) 自监督训练数据
llm_config) pangu_llm.ask(messages).answer 带人设的问答:支持在LLM配置项中设置人设,在LLM问答时系统会自动加上该人设,同时支持以上问答功能(暂不支持GALLERY三方模型)。 import sys from pangukitsappdev
er添加了一个query_preprocessor,它的作用为对用户输入的多轮对话进行改写,会将改写后的结果作为工具检索的输入,这里使用了系统内置的ConversationRewriteSkill,它的作用为将多轮对话改写为单轮。二是在创建一个Agent后,调用了set_tool
的食用鱼类,也是中国传统美食的原料之一。长江中的鱼类多样性体现了其丰富的生态系统,但近年来由于过度捕捞、生境破坏和污染等问题,长江中的许多鱼类种群数量急剧下降,特别是一些特有物种面临濒危。保护长江生态系统和其中的生物多样性已经成为当务之急。", "ppl":
ver添加了一个queryPreprocessor,它的作用为对用户输入的多轮对话进行改写,会将改写后的结果作为工具检索的输入,这里使用了系统内置的ConversationRewriteSkill,它的作用为将多轮对话改写为单轮。二是在创建一个Agent后,调用了setToolR
减少计算资源和时间消耗,且依旧可以保持较好的模型性能。 训练模型 选择训练所需要的模型。支持选择“预置模型”或者“我的模型”。 预置模型:系统提供的LLM(大语言)预置模型。 我的模型:经过用户预训练或者微调训练后的模型。 模型详细介绍请参见选择模型与训练方法。 训练参数 指定用于训练模型的超参数。
4096 温度(temperature) 0.3 核采样(top_p) 1.0 话题重复度控制(presence_penalty) 0 部署推理服务后,可以采用人工评测的方案来评估模型效果。若评测过程中出现如下问题,可以参考解决方案进行优化: 问题一:模型答案没有按照Prompt要求回