检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何调整训练参数,使盘古大模型效果最优 模型微调参数的选择没有标准答案,不同的场景,有不同的调整策略。一般微调参数的影响会受到以下几个因素的影响: 目标任务的难度:如果目标任务的难度较低,模型能较容易的学习知识,那么少量的训练轮数就能达到较好的效果。反之,若任务较复杂,那么可能就需要更多的训练轮数。
是一个可行的方案。 例如,对于一般的常规问题解答等场景,可以通过在提示词中引导模型学习如何简洁明了地作答。 如果场景涉及较为复杂、专业的业务逻辑(例如金融分析、医疗诊断等),则需要更为精确的处理方式: 如果该场景的业务规则较少且易于概括,可以尝试使用few-shot方式,通过向模
对于训练异常或失败的任务可以通过训练日志定位训练失败的原因。典型训练报错和解决方案请参见NLP大模型训练常见报错与解决方案。 训练日志可以按照不同的节点(训练阶段)进行筛选查看。分布式训练时,任务被分配到多个工作节点上进行并行处理,每个工作节点负责处理一部分数据或执行特定的计算任务。日志也可以按照不同的
如何利用提示词提高大模型在难度较高推理任务中的准确率 可以通过思维链的方式提高大模型在复杂推理任务中的准确率。 思维链是一种通过分步骤推理来提升大模型在复杂任务中表现的方法。通过引导模型思考问题的过程,可以使其在推理任务中得到更高的准确性,尤其是在涉及多步推理和复杂逻辑关系的任务中。
无监督领域知识数据量无法支持增量预训练,如何进行模型学习 一般来说,建议采用增量预训练的方式让模型学习领域知识,但预训练对数据量的要求较大,如果您的无监督文档量级过小,达不到预训练要求,您可以通过一些手段将其转换为有监督数据,再将转换后的领域知识与目标任务数据混合,使用微调的方式让模型学习。
优化其性能。 根据每个客户的实际对话知识,如帮助文档、案例库和FAQ库等,可以使用“先搜后推”的解决方案。客户的文档库可以实时更新,大模型的应答可以无缝实时更新。(搜索+大模型解决方案) 父主题: 大模型概念类
场景描述 该示例演示了如何使用盘古NLP大模型创建Python编码助手执行应用,示例将使用Agent开发平台预置的Python解释器预置插件。 “Python解释器插件”能够执行用户输入的Python代码,并获取结果。此插件为应用提供了强大的计算、数据处理和分析功能,用户只需将其添加到应用中,即可扩展功能。
审计 云审计服务(Cloud Trace Service,CTS)是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后,CTS可记录用户使用盘古的管理事件和数据事件用于审计。
错误码 当您调用API时,如果遇到“APIGW”开头的错误码,请参见API网关错误码进行处理。遇到“APIG”开头的错误码,请参考本文档进行处理。 表1 错误码 错误码 错误信息 说明 建议解决方法 PANGU.0001 unknown error. 未知错误。 请联系服务技术支持协助解决。
Studio大模型开发平台(下文简称“平台”)为用户提供的一站式数据处理与管理功能,旨在通过系统化的数据获取、加工、发布等过程,确保数据能够高效、准确地为大模型的训练提供支持,帮助用户高效管理和处理数据,提升数据质量和处理效率,为大模型开发提供坚实的数据基础。 数据工程包含的具体功能如下:
可以通过训练日志定位训练失败的原因。典型训练报错和解决方案请参见科学计算大模型训练常见报错与解决方案。 训练日志可以按照不同的节点(训练阶段)进行筛选查看。分布式训练时,任务被分配到多个工作节点上进行并行处理,每个工作节点负责处理一部分数据或执行特定的计算任务。日志也可以按照不同
开发盘古大模型Agent应用 Agent开发平台介绍 编排与调用应用 编排与调用工作流 创建与管理插件 创建与管理知识库 Agent开发常见报错与解决方案
使用数据工程构建数据集 数据工程介绍 数据工程使用流程 数据集格式要求 导入数据至盘古平台 加工数据集 发布数据集 数据工程常见报错与解决方案
创建NLP大模型训练任务 查看NLP大模型训练状态与指标 发布训练后的NLP大模型 管理NLP大模型训练任务 NLP大模型训练常见报错与解决方案 父主题: 开发盘古NLP大模型
期的大模型工具链。 ModelArts Studio大模型开发平台为开发者提供了一种简单、高效的开发和部署大模型的方式。平台提供了包括数据处理、模型训练、模型部署、Agent开发等功能,以帮助开发者充分利用盘古大模型的功能。企业可以根据自己的需求选取合适的大模型相关服务和产品,方便地构建自己的模型和应用。
创建科学计算大模型训练任务 查看科学计算大模型训练状态与指标 发布训练后的科学计算大模型 管理科学计算大模型训练任务 科学计算大模型训练常见报错与解决方案 父主题: 开发盘古科学计算大模型
产品优势 预置多,数据工程“易” ModelArts Studio大模型开发平台预置多种数据处理AI算子,多种标注工具,满足用户多任务多场景需求,提高开发/标注效率>10X。 0代码,模型开发“简” ModelArts Studio大模型开发平台预置盘古系列预训练大模型,支持快速
停止计费 包周期服务到期后,保留期时长将根据“客户等级”定义。在保留期内的资源处理和费用请参见“保留期”。 按需计费模式下,若账户欠费,保留期时长同样依据“客户等级”定义。在保留期内的资源处理和费用请参见“保留期”。 如果保留期结束后仍未续订或充值,数据将被删除且无法恢复。
开始节点配置说明(必选) 设定工作流的起始点。 大模型节点配置说明 将大模型节点加入工作流,用于处理复杂的自然语言理解或生成任务。 意图识别节点配置说明 配置该节点来分析用户输入,识别其意图,以便后续处理。 提问器节点配置说明 配置一个提问器节点,用于向用户或系统提出问题,获取所需信息。 插件节点配置说明
盘古大模型是否可以自定义人设? 如何将本地的数据上传至平台? 导入数据过程中,为什么无法选中OBS的具体文件进行上传? 如何查看预置模型的历史版本? 更多 大模型微调训练类 如何调整训练参数,使盘古大模型效果最优? 为什么微调后的盘古大模型的回答中会出现乱码? 如何判断盘古大模型训练状态是否正常?