检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID,获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID,获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型
务的难度较大时,该问题将愈加显著。 当然,如果您的可用数据很少,也可以采取一些方法来扩充您的数据,从而满足微调要求,比如: 数据增强:在传统机器学习中,可以通过简单的重复上采样方式来扩充数据,但该方法不适用于大模型微调的场景,这将导致模型的过拟合。因此可以通过一些规则来扩充数据,
身份认证与访问控制 用户可以通过调用REST网络的API来访问盘古大模型服务,有以下两种调用方式: Token认证:通过Token认证调用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。经过认证的请求总是需要
修改。 使用AK/SK认证时,您可以基于签名算法使用AK/SK对请求进行签名,也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见API签名指南。 如果之前没有生成过AK/SK,可登录“我的凭证”界面,选择“访问密钥 > 新增访问密钥”来获取。 签名SD
'relation_operator': 'EQUAL-TO'}]}}"} 判断数据中的JSON参数是否与Query中的参数对应上。 训练模型 自监督训练: 不涉及 有监督微调: 该场景采用了下表中的微调参数进行微调,您可以在平台中参考如下参数进行训练: 表1 微调核心参数设置 训练参数 设置值 数据批量大小(batch_size)
工标注部分数据样例,然后利用大模型(如盘古提供的任意规格的基础功能模型)采用self-instruct等方式,泛化出更多的业务场景数据。 方法一:在大模型输入的Prompt中包含“人设赋予”、“任务描述”、“任务具体要求”和“输出格式要求”等部分后,模型通常能够生成质量较高的数据。示例如下:
误码,请参见API网关错误码进行处理。遇到“APIG”开头的错误码,请参考本文档进行处理。 表1 错误码 错误码 错误信息 说明 建议解决方法 PANGU.0001 unknown error. 未知错误。 请联系服务技术支持协助解决。 PANGU.0010 parameter illegal
任务的Prompt可以保持固定。注意,这里Prompt保持固定和保证数据多样性,二者并不冲突。 当然,如果您的数据质量较差,也可以采取一些方法来提升数据质量,比如: 数据清洗:您可以通过一些简单基础的规则逻辑来过滤异常数据,比如,去空、去重、字符串过滤等。同时,您也可以采用PPL
配置Histroy(Python SDK) History缓存,用于存储历史对话信息,辅助模型理解上下文信息,历史消息对有固定窗口、消息摘要等策略。 初始化:消息记录支持不同的存储方式, 如内存、DCS(Redis)和RDS(Sql)。 from pangukitsappdev.memory
dk-pangulargemodels”。 请在SDK中心获取最新的sdk包版本,替换示例中版本。 表1 安装推理SDK SDK语言 安装方法 Java 在您的操作系统中下载并安装Maven,安装完成后您只需要在Java项目的pom.xml文件中加入相应的依赖项即可。 <dependency>
Information 非授权信息,请求成功。 204 No Content 请求完全成功,同时HTTP响应不包含响应体。 在响应OPTIONS方法的HTTP请求时返回此状态码。 205 Reset Content 重置内容,服务器处理成功。 206 Partial Content 服务器成功处理了部分GET请求。
配置Histroy(Java SDK) History缓存,用于存储历史对话信息,辅助模型理解上下文信息,历史消息对有固定窗口、消息摘要等策略。 初始化:消息记录支持不同的存储方式,如内存、DCS(Redis)、RDS(Sql)。 import com.huaweicloud.pangu
其中,filePath指的是需要解析的文档路径;mode为分割解析模式,具体定义如下: 0 - 返回文档的原始段落,不做其他处理。 1 - 根据标注的书签或目录分段,一般适合有层级标签的word文档。 2 - 根据内容里的章节条分段,适合制度类文档。 3 - 根据长度分段,默认按照500字拆分,会尽量保留完整句子。
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID,获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型
private static Agent panguAgent; // 工具map。在分步骤执行agent场景时,需要调用tool 的run方法来执行tool private static LinkedHashMap<String, Tool> toolMap = new LinkedHashMap();
其中,filePath指的是需要解析的文档路径,mode为分割解析模式,具体定义如下: 0 - 返回文档的原始段落,不做其他处理。 1 - 根据标注的书签或目录分段,一般适合有层级标签的word文档。 2 - 根据内容里的章节条分段,适合制度类文档。 3 - 根据长度分段,默认按照500字拆分,会尽量保留完整句子。
参数名称 说明 模型类型 选择“LLM”。 训练类型 选择“自监督训练”。 训练模型 选择训练所需要的模型,模型详细介绍请参见选择模型与训练方法。 训练参数 指定用于训练模型的超参数。 训练参数说明和调参策略请参见自监督微调训练参数说明。 checkpoints 模型训练任务过程中
重要参数,入参继承BaseModel的类型需额外指定,简单类型无需指定。 return_type。指定工具返回类型,为可选参数,如_run方法未指定返回类型时必选。 如果输入输出参数为复杂类型,则需要通过继承BaseModel定义复杂类型的参数描述,此时input_desc、ou
from langchain_core.outputs import LLMResult # 继承StreamCallbackHandler方法,实现流式输出 class TextStreamCallBack(StreamCallbackHandler): def __init__(self):