检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
全生命周期的大模型工具链。 ModelArts Studio大模型开发平台为开发者提供了一种简单、高效的开发和部署大模型的方式。平台提供了包括数据处理、模型训练、模型部署、Agent开发等功能,以帮助开发者充分利用盘古大模型的功能。企业可以根据自己的需求选取合适的大模型相关服务和产品,方便地构建自己的模型和应用。
adamw是一种改进的Adam优化器,增加了权重衰减机制,有效防止过拟合。 数据配置 训练数据 选择训练模型所需的数据集。 验证数据 若选择“从训练数据拆分”,则需进一步配置数据拆分比例。 若选择“从已有数据导入”,则需选择导入的数据集。 资源配置 训练单元 创建当前训练任务所需的训练单元数量。 订阅提醒
过微调之后,才可支持推理部署。 Pangu-NLP-N2-Chat-32K-20241030 32K 2024年10月发布版本,支持8K序列长度训练,4K/32K序列长度推理。全量微调32个训练单元起训,LoRA微调8个训练单元起训,4个推理单元即可部署。此模型版本差异化支持预训练特性、INT8量化特性。
用户可以根据需求灵活划分工作空间,实现资源的有序管理与优化配置,确保各类资源在不同场景中的最大化利用。为进一步优化资源的管理,平台还提供了多种角色权限体系。用户可以根据自身角色从管理者到各模块人员进行不同层级的权限配置,确保每个用户在其指定的工作空间内,拥有合适的访问与操作权限
对预置的模型资产执行以下操作: 查看模型历史版本。在“版本列表”页面,可查看模型的各个版本。 训练、压缩、部署操作。在“版本列表”页面,可对不同版本模型执行训练、压缩或部署操作。单击相应按钮,将跳转至相关操作页面。 查看操作记录。在“操作记录”页面,可查看当前模型的操作记录。 单
提供准确的预测结果。 应用与部署:当大模型训练完成并通过验证后,进入应用阶段。主要包括以下几个方面: 模型优化与部署:将训练好的大模型部署到生产环境中,可能通过云服务或本地服务器进行推理服务。此时要考虑到模型的响应时间和并发能力。 模型监控与迭代:部署后的模型需要持续监控其性能,
左侧导航窗格中,选择“用户”页签,单击右上方的“创建用户”。 图6 创建用户 配置用户基本信息,单击“下一步”。 配置用户信息时,需要勾选“编程访问”,如果未勾选此项,会导致IAM用户无法使用盘古服务API、SDK。 图7 配置用户基本信息 将用户添加至创建用户组步骤中创建的用户组,单击“创建用户”,完成IAM用户的创建。
组成工作流的基本单元。平台支持多种节点,包括开始、结束、大模型、意图识别、提问器、插件、判断、代码和消息节点。 创建工作流时,每个节点需要配置不同的参数,如输入和输出参数等,开发者可通过拖、拉、拽可视化编排更多的节点,实现复杂业务流程的编排,从而快速构建应用。 工作流方式主要面向
附录 状态码 错误码 获取项目ID 获取模型部署ID
在Agent开发平台上,用户可以构建两种类型的应用: 知识型Agent:以大模型为任务执行核心,适用于文本生成和文本检索任务,如搜索问答助手、代码生成助手等。用户通过配置Prompt、知识库等信息,使得大模型能够自主规划和调用工具。 优点:零代码开发,对话过程智能化。 缺点:大模型在面对复杂的、长链条的流程
为什么微调后的盘古大模型的回答中会出现乱码 当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成的结果中出现了其他语言、异常符号、乱码等字符。这种情况可能是由于以下几个原因导致的,建议您依次排查: 数据质量:请检查训练数据中是否存在包含异常字符的数据,可以通过规则进行清洗。
为什么微调后的盘古大模型的回答会异常中断 当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成的结果不完整,出现了异常截断。这种情况可能是由于以下几个原因导致的,建议您依次排查: 推理参数设置:请检查推理参数中的“最大Token限制”参数的设置,适当增加该参数的值,可
开发盘古专业大模型 部署专业大模型
开发盘古CV大模型 使用数据工程构建CV大模型数据集 训练CV大模型 部署CV大模型
程中,通过设定训练指标来监控模型的表现,确保其达到预期的效果。完成微调后,将对用户模型进行评估并进行最终优化,以确保满足业务需求,然后将其部署和调用,用于实际应用。 CV大模型选择建议 选择合适的CV大模型类型有助于提升训练任务的准确程度。您可以根据模型适用场景,选择合适的模型,从而提高模型的整体效果,详见表1。
开发盘古预测大模型 使用数据工程构建预测大模型数据集 训练预测大模型 部署预测大模型
准备工作 申请试用盘古大模型服务 订购盘古大模型服务 配置服务访问授权 创建并管理盘古工作空间
开发盘古科学计算大模型 使用数据工程构建科学计算大模型数据集 训练科学计算大模型 部署科学计算大模型 调用科学计算大模型
为什么微调后的盘古大模型总是重复相同的回答 当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成了复读机式的结果,即回答中反复出现某一句话或某几句话。这种情况可能是由于以下几个原因导致的,建议您依次排查: 推理参数设置:请检查推理参数中的“话题重复度控制”或“温度”或
为什么微调后的盘古大模型评估结果很好,但实际场景表现很差 当您在微调过程中,发现模型评估的结果很好,一旦将微调的模型部署以后,输入一个与目标任务同属的问题,回答的结果却不理想。这种情况可能是由于以下几个原因导致的,建议您依次排查: 测试集质量:请检查测试集的目标任务和分布与实际场