检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为使该实践效果更优,建议部署盘古NLP大模型的N4系列模型。 操作流程 创建盘古多语言文本翻译工作流的流程见表1。 表1 创建盘古多语言文本翻译工作流流程 操作步骤 说明 步骤1:创建并配置多语言文本翻译工作流 本样例场景实现多语言文本翻译工作流的创建与配置。 步骤2:单节点调试 本样例场景实现工作流中的单节点调试。
NLP大模型开发流程 ModelArts Studio大模型开发平台提供了NLP大模型的全流程开发支持,涵盖了从数据处理到模型训练、压缩、部署、评测、调用的各个环节。 NLP大模型开发流程见图4、表4。 图4 NLP大模型开发流程图 表4 NLP大模型开发流程表 流程 子流程 说明 操作指导
NLP大模型训练流程与选择建议 NLP大模型训练流程介绍 NLP大模型的训练分为两个关键阶段:预训练和微调。 预训练阶段:在这一阶段,模型通过学习大规模通用数据集来掌握语言的基本模式和语义。这一过程为模型提供了处理各种语言任务的基础,如阅读理解、文本生成和情感分析,但它还未能针对特定任务进行优化。
无中间的对话交互过程。适用于内容生成、批量翻译、数据分析等场景。 任务型工作流不支持配置消息节点和提问器节点。 工作流编排流程见表1。 表1 工作流编排流程 操作步骤 说明 创建工作流(必选) 创建一个新的工作流。 开始节点配置说明(必选) 设定工作流的起始点。 大模型节点配置说明
大模型开发基本流程介绍 大模型(Large Models)通常指的是具有海量参数和复杂结构的深度学习模型,广泛应用于自然语言处理(NLP)等领域。开发一个大模型的流程可以分为以下几个主要步骤: 数据集准备:大模型的性能往往依赖于大量的训练数据。因此,数据集准备是模型开发的第一步。
或缺的重要步骤。 数据工程操作流程见图1、表1。 图1 数据集构建流程图 表1 数据集构建流程表 流程 子流程 说明 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 加工数据集 加工数据集 通过专用的加工算子对数据进行预处
低代码构建多语言文本翻译工作流 方案设计 构建流程 效果评估与优化 典型问题 附录 父主题: Agent应用实践
识检索和消息节点。 创建工作流时,每个节点需要配置不同的参数,如输入和输出参数等,开发者可通过拖、拉、拽可视化编排更多的节点,实现复杂业务流程的编排,从而快速构建应用。 工作流方式主要面向目标任务包含多个复杂步骤、对输出结果成功率和准确率有严格要求的复杂业务场景。 在编排工作流时,可以使用以下节点进行功能设计:
控制台,切换区域至华北-北京四,在“总览”页面下方开通“文本翻译”服务。 图1 开通文本翻译服务 操作流程 创建多语言文本翻译插件的流程见表1。 表1 创建多语言文本翻译插件流程 操作步骤 说明 步骤1:获取文本翻译服务Token与调用地址 本样例场景实现文本翻译服务Token与调用地址的获取。
作流场景的流程型Agent,如金融分析助手、网络检测助手等。 知识型Agent:以大模型为任务执行核心,用户通过配置Prompt、知识库等信息,实现工具自主规划与调用,优点是可零码开发,对话过程更为智能,缺点是当大模型受到输入限制,难以执行链路较长且复杂的流程。 流程型Agent
科学计算大模型训练流程与选择建议 科学计算大模型训练流程介绍 科学计算大模型的训练主要分为两个阶段:预训练与微调。 预训练阶段:预训练是模型学习基础知识的过程,基于大规模通用数据集进行。例如,在区域海洋要素预测中,可以重新定义深海变量、海表变量,调整深度层、时间分辨率、水平分辨率
训练NLP大模型 NLP大模型训练流程与选择建议 创建NLP大模型训练任务 查看NLP大模型训练状态与指标 发布训练后的NLP大模型 管理NLP大模型训练任务 NLP大模型训练常见报错与解决方案 父主题: 开发盘古NLP大模型
个。数据条数范围为:3-1000条。 构建NLP大模型数据集流程 在ModelArts Studio大模型开发平台中,使用数据工程构建盘古NLP大模型数据集流程见表3。 表3 盘古NLP大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在
Agent平台支持为应用配置插件、工作流技能,支持接入知识库,还可增加应用的对话体验,详见创建与管理插件、编排工作流、创建与管理知识库。 应用编排流程见表1。 表1 应用编排流程 操作步骤 说明 步骤1:创建应用 创建一个新应用。 步骤2:配置提示词 在应用中配置大模型所需的Prompt。 步骤3:添加插件
模型开发 ModelArts Studio大模型开发平台提供了模型开发功能,涵盖了从模型训练到模型调用的各个环节。平台支持全流程的模型生命周期管理,确保从数据准备到模型部署的每一个环节都能高效、精确地执行,为实际应用提供强大的智能支持。 模型训练:在模型开发的第一步,ModelArts
基础知识 大模型开发基本流程介绍 大模型开发基本概念
优点:零代码开发,对话过程智能化。 缺点:大模型在面对复杂的、长链条的流程时可能会受到输入长度限制,难以有效处理较为复杂的工作流。 流程型Agent:以工作流为任务执行核心,用户可以通过在画布上“拖拽”节点来搭建任务流程。支持编排的节点类型包括:大模型节点、知识检索节点、意图识别节点、
使用数据工程构建数据集 数据工程介绍 数据工程使用流程 数据集格式要求 导入数据至盘古平台 加工数据集 发布数据集 数据工程常见报错与解决方案
看模型的所有历史版本及操作记录,从而追踪模型的演变过程。同时,平台支持一系列便捷操作,包括模型训练、压缩和部署,帮助用户简化模型开发及应用流程。这些功能有助于用户高效管理模型生命周期,提高资产管理效率。 模型资产包含以下两种形式: 预置模型。 用户在平台中可试用、已订购的预置模型。
载数据。 图2 下载表面变量数据 构建科学计算大模型数据集流程 在ModelArts Studio大模型开发平台中,使用数据工程创建盘古科学计算大模型数据集流程见表2。 表2 盘古科学计算大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储