检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练目的 训练数据 模型效果 应用场景举例 预训练 关注通用性:预训练旨在让模型学习广泛的通用知识,建立词汇、句法和语义的基础理解。通过大规模的通用数据训练,模型可以掌握丰富的语言模式,如语言结构、词义关系和常见的句型。 使用大规模通用数据:通常使用海量的无监督数据(如文本语料库
或“温度”或“核采样”等参数的设置,适当增大其中一个参数的值,可以提升模型回答的多样性。 数据质量:请检查训练数据中是否存在文本重复的异常数据,可以通过规则进行清洗。 训练参数设置:若数据质量存在问题,且因训练参数设置的不合理而导致过拟合,该现象会更加明显。请检查训练参数中的 “
测试集质量:请检查测试集的目标任务和分布与实际场景是否一致,质量较差的测试集无法反映模型的真实结果。 数据质量:请检查训练数据的质量,若训练样本和目标任务不一致或者分布差异较大,则会加剧该现象。此外,若可预见实际场景会不断发生变化,建议您定期更新训练数据,对模型进行微调更新。 父主题: 大模型微调训练类问题
请注意,所选的数据集必须包含您想要添加的新要素。此外,您还可以通过训练更改所有的模型参数,以优化模型性能。 微调:微调是将新数据应用于已有模型的过程。它适用于不改变模型结构参数和引入新要素的情况。如果您有新的观测数据,可以使用微调来更新模型的权重,以适应新数据。 中期海洋智能预测模型的训练类型选择建议:
它从未标记的数据中提取监督信号,属于无监督学习的一个子集。该方法通过创建“预设任务”让模型从数据中学习,从而生成有用的表示,可用于后续任务。它无需额外的人工标签数据,因为监督信号直接从数据本身派生。 有监督学习 有监督学习是机器学习任务的一种。它从有标记的训练数据中推导出预测函
创建盘古多语言文本翻译工作流流程 操作步骤 说明 步骤1:创建并配置多语言文本翻译工作流 本样例场景实现多语言文本翻译工作流的创建与配置。 步骤2:试运行多语言文本翻译工作流 本样例场景实现多语言文本翻译工作流的试运行。 步骤1:创建并配置多语言文本翻译工作流 登录ModelArts
能力调测功能支持用户调用预置或训练后的NLP大模型。使用该功能前,请完成模型的部署操作,步骤详见创建NLP大模型部署任务。 使用“能力调测”调用NLP大模型可实现文本对话能力,即在输入框中输入问题,模型将基于问题输出相应的回答,具体步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
盘古推理SDK简介 推理SDK概述 盘古大模型推理SDK是对REST API进行的封装,通过该SDK可以处理用户的输入,生成模型的回复,从而实现自然流畅的对话体验。 表1 推理SDK清单 SDK分类 SDK功能 支持语言 使用场景 推理SDK 对话问答(/chat/completions)
nction或者API通过配置方式快速创建为一个插件,并供Agent调用。 自定义知识库:平台提供了知识库功能来管理和存储数据,支持为AI应用提供自定义数据,并与之进行互动。多种格式的本地文档(支持docx、pptx、pdf等)都可以导入至知识库。 灵活的工作流设计:平台提供灵活
、插件、判断、代码和消息节点。 创建工作流时,每个节点需要配置不同的参数,如输入和输出参数等,开发者可通过拖、拉、拽可视化编排更多的节点,实现复杂业务流程的编排,从而快速构建应用。 工作流方式主要面向目标任务包含多个复杂步骤、对输出结果成功率和准确率有严格要求的复杂业务场景。 父主题:
管理盘古工作空间成员 如果您需要为企业员工设置不同的访问权限,以实现功能使用权限和资产的权限隔离,可以为不同员工配置相应的角色,以确保资产的安全和管理的高效性。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户(子用户)进行权限管理,您可以跳过本章节,不影响您使用盘古的其他功能。
单击进入“训练结果”页签,单击“发布”。 图1 训练结果页面 填写资产名称、描述,选择对应的可见性,单击“确定”发布模型。 发布后的模型会作为模型资产同步显示在“空间资产 > 模型”列表中。 父主题: 训练NLP大模型
单击进入“训练结果”页签,单击“发布”。 图1 训练结果页面 填写资产名称、描述,选择对应的可见性,单击“确定”发布模型。 发布后的模型会作为模型资产同步显示在“空间资产 > 模型”列表中。 父主题: 训练CV大模型
单击进入“训练结果”页签,单击“发布”。 图1 训练结果页面 填写资产名称、描述,选择对应的可见性,单击“确定”发布模型。 发布后的模型会作为模型资产同步显示在“空间资产 > 模型”列表中。 父主题: 训练预测大模型
单击进入“训练结果”页签,单击“发布”。 图1 训练结果页面 填写资产名称、描述,选择对应的可见性,单击“确定”发布模型。 发布后的模型会作为模型资产同步显示在“空间资产 > 模型”列表中。 父主题: 训练科学计算大模型
景面临着众多碎片化AI需求场景。 传统的AI开发模式需要对每种目标类别单独采集数据、训练模型,依赖专家经验进行算法参数调优,最后才能上线应用。基于ModelArts Studio平台开发工作流,将数据标注、模型训练、部署上线等繁杂的流程固化为一个流水线的步骤。通过大模型的能力,即
adamw是一种改进的Adam优化器,增加了权重衰减机制,有效防止过拟合。 数据配置 训练数据 选择训练模型所需的数据集。 验证数据 若选择“从训练数据拆分”,则需进一步配置数据拆分比例。 若选择“从已有数据导入”,则需选择导入的数据集。 资源配置 训练单元 创建当前训练任务所需的训练单元数量。
为了帮助用户更好地管理和优化Token消耗,平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量,提供费用预估,并优化数据预处理策略。 URI POST /v1/{project_id}/deployments/{deployment_id}/caltokens
> 删除”,可删除当前应用。 删除应用属于高危操作,删除前,请确保该应用不再使用。 导出、导入应用 平台支持导出和导入应用。导出应用时,将同步导出应用关联的插件和工作流等配置。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航
使用盘古应用百宝箱生成创意活动方案 场景描述 该示例演示了如何使用盘古应用百宝箱生成创意活动方案。 应用百宝箱是盘古大模型服务为用户提供的便捷AI应用集,用户可在其中使用盘古大模型预置的场景应用和外部应用,轻松体验大模型开箱即用的强大能力。 操作流程 使用盘古应用百宝箱生成创意活动方案的步骤如下: