检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建NLP大模型评测任务前，请确保已完成创建NLP大模型评测数据集操作。 预训练的NLP大模型不支持评测。 创建NLP大模型自动评测任务 创建NLP大模型自动评测任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发
插件提供丰富的外部服务接口，当任务执行时，模型会根据提示词感知适用的插件，并自动调用它们，从外部服务中获取结果并返回。这样的设计使得Agent能够智能处理复杂任务，甚至跨领域解决问题，实现对复杂问题的自动化处理。 Agent开发平台支持两种类型的插件： 预置插件：平台为开发者和用
列“下载”，可将评测报告下载到本地。 NLP大模型评测指标说明 NLP大模型支持自动评测与人工评测，各指标说明如表1、表2、表3。 表1 NLP大模型自动评测指标说明-不使用评测模板 评测指标（自动评测-不使用评测模板） 指标说明 F1_SCORE 精准率和召回率的调和平均数，数值越高，表明模型性能越好。
创建NLP大模型评测数据集 NLP大模型支持人工评测与自动评测，在执行模型评测任务前，需创建评测数据集。 评测数据集的创建步骤与训练数据集一致，本章节仅做简单介绍，详细步骤请参见使用数据工程构建NLP大模型数据集。 登录ModelArts Studio平台，进入所需空间。 在左侧导航栏中选择“数据工程
评测功能。通过自动化的评测机制，用户可以在训练过程中持续监控模型的精度、召回率等关键指标，及时发现潜在问题并优化调整。评测功能能够帮助用户在多种应用场景下验证模型的准确性与可靠性。支持基于规则的自动评测方式，NLP模型展示准确率，F1分数，BLEU、ROUGE等自动评测指标，支持
单击页面右上角“导入”。 在“导入”页面，单击“选择文件”选择需要导入的jsonl文件。 选择导入文件后，选择解析内容。 平台将自动解析jsonl文件。如果解析的文件在平台中已存在，勾选该文件将自动覆盖平台现有文件。 单击“导入”，导入成功的应用将在“工作台 > 应用”中展示。 父主题： 编排与调用应用
对话型工作流。面向多轮交互的开放式问答场景，基于用户对话内容提取关键信息，输出最终结果。适用于客服助手、工单助手、娱乐互动等场景。 任务型工作流。面向自动化处理场景，基于输入内容直接输出结果，无中间的对话交互过程。适用于内容生成、批量翻译、数据分析等场景。 任务型工作流不支持配置消息节点和提问器节点。
单击页面右上角“导入”。 在“导入”页面，单击“选择文件”选择需要导入的jsonl文件。 选择导入文件后，选择解析内容。 平台将自动解析jsonl文件。如果解析的文件在平台中已存在，勾选该文件将自动覆盖平台现有文件。 单击“导入”，导入成功的插件将在“工作台 > 插件”页面中展示。 父主题： 创建与管理插件
型寻找更多样化的输出。 提示词工程相关概念 表4 提示词工程相关概念说明 概念名 说明 提示词 提示词（Prompt）是一种用于与AI人工智能模型交互的语言，用于指示模型生成所需的内容。 思维链 思维链 （Chain-of-Thought）是一种模拟人类解决问题的方法，通过一系列
确定性预报的输出要素，例如“Surface:U;1000:T;800:?abc”。 可选择的要素参考表8中，提供的全球海洋要素模型的深海变量和海表变量。 表8 中期海洋智能预测模型信息 模型 深海层深 预报深海变量 预报海表变量 时间分辨率 水平分辨率 区域范围 全球海洋要素模型 0m, 6m, 10m, 20m
查看不同提示词在模型中的使用效果。 在撰写提示词页面，找到页面右侧变量输入区域，在输入框中输入具体的变量值信息。 输入变量值后预览区域会自动组装展示提示词。也可以直接选择已创建的变量集填入变量值信息，变量集是一个excel文件，每行数据是需要输入的变量值信息，可以通过“导入”功能进行上传。
单击页面右上角“导入”。 在“导入”页面，单击“选择文件”选择需要导入的jsonl文件。 选择导入文件后，选择解析内容。 平台将自动解析jsonl文件。如果解析的文件在平台中已存在，勾选该文件将自动覆盖平台现有文件。 单击“导入”，导入成功的工作流将在“工作台 > 工作流”页面中展示。 父主题： 编排与调用工作流
数据工程介绍 数据工程介绍 数据工程是ModelArts Studio大模型开发平台（下文简称“平台”）为用户提供的一站式数据处理与管理功能，旨在通过系统化的数据获取、加工、发布等过程，确保数据能够高效、准确地为大模型的训练提供支持，帮助用户高效管理和处理数据，提升数据质量和处理效率，为大模型开发提供坚实的数据基础。
NET、NodeJs、PHP 给定一个提示和一些参数，模型会根据这些信息生成一个或多个预测的补全，还可以返回每个位置上不同词语的概率。它可以用来做文本生成、自动写作、代码补全等任务。 开发环境要求 华为云盘古大模型推理SDK要求： Java SDK适用于JDK 1.8及其以上版本。 Python SDK适用于Python3及以上版本。
练过程中逐步减小学习率，避免后期学习率过大。建议动态调整学习率，使用自适应优化器，如Adam、AdamW、RMSprop等，这些优化器可以自动调整学习率。 如果您没有专业的调优经验，可以优先使用ModelArts Studio平台的默认值，再结合损失曲线动态调整。 父主题： 盘古科学计算大模型调优实践
网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。 项目 华为云的区域默认对应一个项目，这个项目由系统预置，用来隔离物理区域间的资源（计算资源、存储资源和网络资源），以默认项目为单位进行授权，用户可以访问您账号
在“创建标注任务”页面选择需要标注的视频类数据集与标注项，单击“下一步”。 如果选择“视频Caption”标注项，则可开启“AI预标注”功能。AI预标注将自动生成标注内容，不会覆盖原始数据集，供标注人员参考，以提高标注效率。 可选择开启“多人作业”功能，开启后，可选择多人协同完成作业，并增加审核
在提示词撰写区域输入提示词文本，可以插入若干个变量，变量需要使用占位符{{ }}标识。 图2 撰写提示词 撰写完成后，单击“确定”，平台会自动识别插入的变量。提示词中识别的变量将展示在变量定义区域。 变量名称可以进行修改，如添加备注信息以便更好理解变量的作用。 图3 变量定义 变
在“创建标注任务”页面选择需要标注的图片类数据集与标注项。 如果选择“图片Caption”或“物体检测”标注项，则可开启“AI预标注”功能。AI预标注将自动生成标注内容，不会覆盖原始数据集，供标注人员参考，以提高标注效率。 可选择开启“多人作业”功能，开启后，可选择多人协同完成作业，并增加审核
保障全量一次性升级。 滚动升级：部分实例资源空出用于滚动升级，逐个或逐批停止旧版本并启动新版本。滚动升级时可修改实例数。选择缩实例升级时，系统会先删除旧版本，再进行升级，期间旧版本不可使用。 图1 升级模式 升级配置后，需重新启动该部署任务，升级模式即为重启的方式。 修改部署配置
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
