检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据工程介绍 数据工程介绍 数据工程是ModelArts Studio大模型开发平台（下文简称“平台”）为用户提供的一站式数据处理与管理功能，旨在通过系统化的数据获取、加工、发布等过程，确保数据能够高效、准确地为大模型的训练提供支持，帮助用户高效管理和处理数据，提升数据质量和处理效率
知识库介绍 平台提供了知识库功能来管理和存储数据，支持为应用提供自定义数据，并与之进行互动。 知识库支持导入以下格式的本地文档： 文本文档数据。支持上传常见文本格式，包括：txt、doc、docx、pdf、ppt、pptx格式。 表格数据。支持上传常见的表格文件格式，便于管理和分析结构化数据
创建知识库 创建知识库的步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“Agent开发”，跳转至Agent开发平台。 单击左侧导航栏“工作台”，在“知识库”页签，单击右上角“创建知识库”。 在“创建知识库”
查看提示词评估结果 评估任务创建完成后，会跳转至“评估”页面，在该页面可以查看评估状态。 图1 查看提示词评任务状态 单击“评估名称”，进入评估任务详情页，可以查看详细的评估进度，例如在图2中有10条评估用例，当前已评估8条，剩余2条待评估。 图2 查看评估进展 评估完成后，可以查看每条数据的评估结果
图片类数据集格式要求 ModelArts Studio大模型开发平台支持创建图片类数据集，创建时可导入多种形式的数据，具体格式要求详见表1。 表1 图片类数据集格式要求 文件内容 文件格式 文件要求 仅图片 tar、图片目录 图片：支持jpg、jpeg、png、bmp类型。 tar
计费模式 包周期计费模式属于预付费模式，即先付费再使用。按需计费模式属于后付费模式，即费用根据服务实际消耗量计费，系统将每小时自动扣费。 盘古大模型的计费模式见表1。 表1 计费模式表 计费类别 计费项 计费模式 计费量纲 付费方式 计费周期 模型服务 模型订阅服务 包周期计费 套
图片类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台提供了图文类、图片类清洗算子，算子能力清单见表1。 表1 图片类清洗算子能力清单 算子分类
数据工程 ModelArts Studio开发平台提供了全面的数据工程功能。该模块涵盖数据获取、加工、标注、评估和发布等关键环节，帮助用户高效构建高质量的训练数据集，推动AI应用的成功落地。具体功能如下： 数据获取：用户可以轻松将多种类型的数据导入ModelArts Studio大模型开发平台
打造政务智能问答助手 场景介绍 大模型（LLM）通过对海量公开数据（如互联网和书籍等语料）进行大规模无监督预训练，具备了强大的语言理解、生成、意图识别和逻辑推理能力。这使得大模型在智能问答系统中表现出色：用户输入问题后，大模型依靠其强大的意图理解能力和从大规模预训练语料及通用SFT
管理NLP大模型训练任务 在训练任务列表中，任务创建者可以对任务进行编辑、启动、克隆（复制训练任务）、重试（重新训练任务）和删除操作。 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”，可进行如下操作
管理CV大模型训练任务 在训练任务列表中，任务创建者可以对任务进行编辑、启动、克隆（复制训练任务）、重试（重新训练任务）和删除操作。 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”，可进行如下操作
管理预测大模型训练任务 在训练任务列表中，任务创建者可以对任务进行编辑、启动、克隆（复制训练任务）、重试（重新训练任务）和删除操作。 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”，可进行如下操作
气象类清洗算子能力清单 数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持气象类数据集的加工操作，气象类加工算子能力清单见表1。 表1 气象类清洗算子能力清单
创建科学计算大模型训练任务 创建科学计算大模型中期天气要素预测微调任务 创建科学计算大模型中期天气要素预测微调任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”，单击右上角“创建训练任务
创建多语言文本翻译插件 准备工作 提前开通“文本翻译”服务。登录自然语言处理控制台，切换区域至华北-北京四，在“总览”页面下方开通“文本翻译”服务。 图1 开通文本翻译服务 操作流程 创建多语言文本翻译插件的流程见表1。 表1 创建多语言文本翻译插件流程 操作步骤 说明 步骤1：获取文本翻译服务
创建NLP大模型训练任务 创建NLP大模型预训练任务 创建NLP大模型预训练任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”，单击右上角“创建训练任务”。 在“创建训练任务”页面
查看CV大模型部署任务详情 部署任务创建成功后，可以查看大模型部署的任务详情，具体步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”，完成创建CV大模型部署任务后，可以查看模型的部署状态
构建流程 准备工作 为确保有可用的NLP大模型，请先完成NLP大模型的部署操作，详见《用户指南》“开发盘古NLP大模型 > 部署NLP大模型 > 创建NLP大模型部署任务”。 本实践将使用华为云文本翻译API，请先完成创建多语言文本翻译插件操作。 操作流程 创建盘古多语言文本翻译工作流的流程见表
数据集发布场景介绍 数据发布介绍 ModelArts Studio大模型开发平台提供的数据发布功能涵盖数据评估、数据配比和数据流通操作，旨在通过数据质量评估和合理的比例组合，确保数据满足大模型训练的多样性、平衡性和代表性需求，促进数据的高效流通和应用。 数据发布不仅包括将数据发布为适合使用的格式
创建提示词工程 通过精心设计和优化提示词，可以引导大模型生成用户期望的输出。提示词工程任务的目标是通过设计和实施一系列的实验，来探索如何利用提示词来提高大模型在各种任务上的表现。 撰写提示词前需要先创建提示词工程，用于对提示词进行统一管理。 登录ModelArts Studio大模型开发平台
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
