检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据格式:多轮问答场景需要按照指定的数据格式来构造,问题需要拼接上历史所有轮对话的问题和回答。比如,当前是第三轮对话,数据中的问题字段需要包含第一轮的问题、第一轮的回答、第二轮的问题、第二轮的回答以及第三轮的问题,答案字段则为第三轮的回答。以下给出了几条多轮问答的数据样例供您参考: 原始对话示例: A:你是谁? B:您好,我是盘古大模型。
说明: 该描述直接影响大模型对工具使用的判断,请尽量描述清楚。如果AI助手实际执行时,无法根据用户问题匹配到工具,或者匹配效果不理想,可以修改此描述。 input_schema 是 Json Schema 工具输入参数。将API封装为工具时,调用该API的请求参数。请求体以json
解决: 问题一:JSON字段缺失、JSON字段或值错误。 解决方案:对于这几种情况,需要在微调数据中增大该缺失字段的数据比例,同时也可以在Prompt中加入对该字段的强调。 问题二:JSON格式错误、JSON内容发散。 解决方案:对于这种情况,可以尝试修改推理参数。例如降低“温度
ALLOW_LEADING_DECIMAL_POINT_FOR_NUMBERS 这个字段是jackson-core里面用来标识解析json格式数据是否支持前导小数点的字段,这个报错的意思是找不到这个字段,很可能是因为用户使用的jackson版本太老导致。 建议客户本地将jackson版本升级到和华为云java
据的输出(target字段)需要符合业务场景需求。因此,针对该问题,需要严格控制数据质量。若输入(context字段)要求文案300字以内,则输出必须要满足300字以内。 问题二:模型生成的文案中重复讨论一个相同的话题。 解决方案:对于这种情况,可以尝试修改推理参数。例如,降低“
--pkg-path=/home/hilens/pkgs 基于边缘部署准备工作与注册边缘资源池节点,按照以下目录结构存放下载文件,注意修改下载文件的命名。其中,docker下的certs证书会自动生成,一般无需修改。 pkgs // 包目录,用户自行命名 docker docker.tgz
束后,检查Agent是否需要终止,如果需要终止,则返回true,默认不终止 * 可以在终止前对agentSession进行修改,如:修改agent的finalAnswer * * @param agentSession AgentSession
}/deployments/{deployment_id}/text/completions 请求消息头 附加请求头字段,如指定的URI和HTTP方法所要求的字段。例如定义消息体类型的请求头“Content-Type”,请求鉴权信息等。 如下公共消息头需要添加到请求中。 Cont
描述任务要求。 例如,在文档问答任务中,任务本质不是生成,而是抽取任务,需要让模型“从文档中抽取出问题的答案,不能是主观的理解或解释,不能修改原文的任何符号、字词和格式”, 如果使用“请阅读上述文档,并生成以下问题答案”,“生成”一词不是很恰当,模型会引入一些外部知识。 例如,在
后,检查Agent是否需要终止,如果需要终止,则返回true,默认不终止 可以在终止前对agentSession进行修改,如:修改agent的finalAnswer :param agent_session: AgentSession
要匹配,且不能有空值。 文件类型为CSV:每一行代表一个问答对,确保每个问题和答案的数据都以逗号分隔,每行的数据完整且格式正确,文件中每个字段或列都应有适当的数据类型,例如文本、数值、日期等。每一段需要准确完整的语义,符合主流价值观,并且文本中不能存在异常字符、分行异常等影响模型
描述直接影响LLM对入参的提取,尽量描述清楚,如果Agent实际执行效果不符合预期,可以调整。 required。是否为可选参数。 注意:字段的命名需要以小写字母开头,否则在转换成标准的Json schema时会出现问题,导致模型精度受到影响。 上例中的InputParam为一个
选择模型类型、训练类型以及基础模型。 数据配置 选择训练数据集和配比类型,设置训练数据集配比,详情请参考数据配比功能介绍。 在训练数据集配比完成后,在单击“创建”或后续修改保存时,会对数据集的有效数据进行统计,确保满足模型训练的要求。 图3 数据配置 基本配置 填写训练数据集名称和描述,选择数据标签。 图4 基本配置
当部署一个实例时,占用1个推理单元。 单击“立即创建”,下发模型部署任务。 使用外推扩展模型上下文处理长度 在部署模型、部署后修改模型规格时,可以通过外推功能调整模型的输入输出长度。修改部署时扩缩容和外推场景互斥,每次只能修改一个。 当前仅盘古-NLP-N4系列模型以及基于它们训练的模型支持外推。 图1 模型部署外推升级
因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 404 Not Fou 所请求的资源不存在。 建议直接修改该请求,不要重试该请求。 405 Method Not Allowed 请求中带有该资源不支持的方法。 建议直接修改该请求,不要重试该请求。 406 Not
什么情况下不建议微调 虽然微调可以在一定程度上提升领域能力,但有时候微调也无法解决所有问题。即使您的目标场景依赖垂域背景知识,微调也并非最佳方案,比如: 场景微调的数据量很少或者数据质量很差:微调对数据量和数据质量有很高的要求,需要使用高质量的数据进行模型训练。 垂域知识问答场景
不要同时更改两者。通常建议更改top_p或temperature来调整生成文本的倾向性,但不要同时更改这两个参数。 取值范围:(0, 1] 缺省值:N1模型为0.7、N2模型为1,N4模型为0.85 max_tokens 否 Integer 生成文本的最大token数量,单位token。
数据保护技术 盘古大模型服务通过多种数据保护手段和特性,保障存储在服务中的数据安全可靠。 表1 盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密(HTTPS) 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数
similarity_search("bar", top_k=2) 数据清理 vector_api.clear() CSS插件模式(内部已集成Embedding, 支持多字段组合向量检索)。 CSS插件模式,需要提前手工创建索引(因索引中需要指定embdding/rank模型,SDK不能简单自动创建)。 CSS
估。 支持对用例集的创建、查询、修改、删除。 提示词工程任务管理 提示词工程平台以提示词工程任务为管理维度,一个任务代表一个场景或一个调优需求,在提示词工程任务下可以进行提示词的调优、比较和评估。 提示词工程任务管理支持工程任务的创建、查询、修改、删除。 提示词调优 提示词调优支