检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
回答,解决特定领域问题回答不准的现象。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 知识库管理”,单击页面右上角“创建知识库”。 知识库分为自定义知识库、引用知识库。 自定义知识库:通过盘古大模型套件平台创建的知识库。 引用知识库:引用在KooSearch服务中创
当用户提出问题时,模型先通过搜索引擎获取最新的信息,并将这些信息整合到大模型生成的答案中,从而提供既准确又及时的答案。 登录盘古大模型套件平台,在左侧导航栏中选择“能力调测”。 单击“多轮对话”页签,选择使用N2系列模型,在页面右侧“参数设置”中可以开启搜索增强功能。 图1 体验搜索增强能力
功能名称 功能描述 阶段 相关文档 1 盘古大模型正式公测上线 盘古大模型是集数据管理、模型训练和模型部署于一体的一站式大模型开发与应用平台。平台支持大模型的定制开发,提供全生命周期工具链,帮助开发者高效构建与部署模型,企业可灵活选择适合的服务与产品,轻松实现模型与应用的开发。 公测
保证微调数据能覆盖对应任务所涉及的所有场景。 微调数据清洗: 以下是该场景中实际使用的数据清洗策略,供您参考: 原始文本处理。基于爬虫、数据处理平台批量处理收集到的原始数据,需要将文件统一转换成纯文本的txt文件,对错误格式数据进行删除。 构建微调数据。生成垂域微调(问答对)数据,将问
您可根据任务难度和数据规模进行调整。一般来说,如果目标任务的难度较大或数据量级很小,可以使用较大的训练轮数,反之可以使用较小的训练轮数。 如果您没有专业的调优经验,可以优先使用平台提供的默认值,再结合训练过程中模型的收敛情况动态调整。 数据批量大小(batch_size) >=1 4/8 数据批量大小是指对数据集进行
样和最大口令限制等。模型参数的设置会影响模型的生成质量和多样性,因此需要根据不同的场景进行选择。提示词的撰写步骤如下: 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务操作栏中的“撰写”。
准备工作 使用盘古大模型应用开发SDK时,需要在代码中配置以下信息,请提前收集。 表1 资源列表 类型 资源 是否必选 依赖信息 参考文档 备注 大语言模型 华为云盘古 是(大语言模型至少选一个) 盘古模型API调用URL。 华为云IAM账号认证信息。 盘古大模型API参考文档:
数据单条文本长度不超过1000。 创建数据集时会对相关限制条件进行校验。 数据参考格式 图1 数据参考格式 图2 数据示例 创建提示词评估数据集 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 提示用例管理”。 图3 提示用例管理 单击页面右上角“创建提示用例集”,进入创建弹窗。 单击存储位置
输出指示:指定输出的类型或格式。 提示词所需的格式取决于您想要语言模型完成的任务类型,以上要素并非都是必须的。 提示词工程使用流程 盘古大模型套件平台可以辅助用户进行提示词设计、调优、比较和对提示词通用性进行自动评估等功能,并对调优得到的提示词进行保存和管理。 表1 功能说明 功能 说明
多轮问答场景,为什么微调后的效果不好 当您的目标任务是多轮问答,并且使用了多轮问答数据进行微调,微调后却发现多轮回答的效果不理想。这种情况可能是由于以下几个原因导致的,建议您依次排查: 数据格式:多轮问答场景需要按照指定的数据格式来构造,问题需要拼接上历史所有轮对话的问题和回答。
2 } } } } 图3 填写请求Body 单击Postman界面“Send”按钮,发送请求。当接口返回状态为201时,表示Token接口调用成功,此时单击“Headers”选项,找到并复制“X-Subject-Token”参
华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责
当您在中间填充栏填入对应内容时, 右侧代码示例会自动完成参数的组装。 图2 设置输入参数 填写输入参数时,deployment_id为模型部署ID,可以在盘古大模型套件平台“服务管理”功能中获取。 图3 服务管理 图4 获取deployment_id
默认值为false,如果开启流式,请赋值true,同时n参数只能设置为1。开启流式开关后,API会在生成文本的过程中,实时地将生成的文本发送给客户端,而不是等到生成完成后一次性将所有文本发送给客户端。 表4 message 参数 是否必选 参数类型 描述 role 否 String 对话的角色,取值为system、user。
判断数据中的JSON参数是否与Query中的参数对应上。 训练模型 自监督训练: 不涉及 有监督微调: 该场景采用了下表中的微调参数进行微调,您可以在平台中参考如下参数进行训练: 表1 微调核心参数设置 训练参数 设置值 数据批量大小(batch_size) 8 训练轮数(epoch) 6 学习率(learning_rate)
默认值为false,如果开启流式,请赋值true,同时n参数只能设置为1。开启流式开关后,API会在生成文本的过程中,实时地将生成的文本发送给客户端,而不是等到生成完成后一次性将所有文本发送给客户端。 响应参数 非流式 状态码: 200 表4 响应Body参数 参数 参数类型 描述 id String 用来标识每个响应的唯一字符串。
LLMs(语言模型) LLMs模块用于对大语言模型API的适配封装,提供统一的接口快速地调用盘古、开源模型等模型API。 初始化:根据相应模型定义LLM类。例如,使用盘古LLM为: LLMs.of(LLMs.PANGU)。 import com.huaweicloud.pangu
返回结果 状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于Pangu服务接口,如果调用后返回状态码为“200”,则表示请求成功。 响应消息头 对应请求消息
Gone 客户端请求的资源已经不存在。 返回该状态码,表明请求的资源已被永久删除。 411 Length Required 服务器无法处理客户端发送的不带Content-Length的请求信息。 412 Precondition Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。
具体情况进行权衡,需要通过多次训练进行调整,既要考虑模型的通用能力,也要考虑模型在特定领域的性能。 创建一个训练数据集 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据管理”,单击界面右上角“创建数据集”。 图1 数据管理 在创建数据集弹出框中选择“创建一个训练数据集”,单击“创建”。