检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建图片类数据集标注任务 创建图片类数据集标注任务前,请先完成创建图片类数据集加工任务。 创建图片类数据集标注任务步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据标注 > 标注管理”,单击页面右上角“创建标注任务”。
在ModelArts Studio大模型开发平台中,使用数据工程创建盘古科学计算大模型数据集流程见表2。 表2 盘古科学计算大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建原始数据集 数据集是指用于模型训练或评测的一组相关数据样本,上传至平台的数据将被创建为原始数据集进行统一管理。
创建图片类数据集评估任务 创建图片类数据集评估任务前,请先完成创建图片类数据集评估标准。 创建图片类数据集评估任务步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据评估 > 评估任务”,单击界面右上角“创建评估任务”。
数据集标注完成并且审核无问题后,需要对该数据集执行上线操作。上线后的数据集可以用于后续的数据评估、发布任务。 上线标注后的数据集步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据标注 > 标注管理” 在“标注管理”
上线加工后的气象类数据集 加工后的气象类数据集需要执行上线操作,用于后续的数据发布操作,具体步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据加工”,在数据集操作列单击“上线”,执行上线操作。
数据集标注完成并且审核无问题后,需要对该数据集执行上线操作。上线后的数据集可以用于后续的数据评估、发布任务。 上线标注后的数据集步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据标注 > 标注管理” 在“标注管理”
创建文本类数据集标注任务 创建文本类数据集标注任务前,请先完成创建文本类数据集加工任务。 创建文本类数据集标注任务步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据标注 > 标注管理”,单击页面右上角“创建标注任务”。
词进行比对,以查看其效果。 每个工程任务下候选提示词上限9个,达到上限9个时需要删除其他候选提示词才能继续添加。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent 开发 > 提示词工程 > 提示词开发”。 在工程任务列表页面,找到
原始数据集和加工后的数据集不可以直接用于模型训练,需要独立创建一个“发布数据集”。 其他类数据集当前仅支持发布为“默认格式”,操作步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据发布”,单击界面右上角“创建发布数据集”。
创建文本类数据集评估任务 创建文本类数据集评估任务前,请先完成创建文本类数据集加工任务。 创建文本类数据集评估任务步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据评估 > 评估任务”,单击界面右上角“创建评估任务”。
使用“能力调测”调用NLP大模型 平台提供的“能力调测”功能支持用户直接调用预置模型或经过训练的模型。使用该功能前,需完成模型的部署操作,详见创建NLP大模型部署任务。 NLP大模型支持文本对话能力,在输入框中输入问题,模型就会返回对应的答案内容。 图1 调测NLP大模型 表1 NLP大模型能力调测参数说明
型训练的数据集。 准备工作 请提前准备数据并上传至OBS服务,上传步骤请详见通过控制台快速使用OBS。 操作流程 登录ModelArts Studio大模型开发平台,进入所需空间。 选择左侧“数据工程 > 数据获取”,单击右上角“创建原始数据集”。 在“创建原始数据集”页面,选择“文本
探索如何利用提示词来提高大模型在各种任务上的表现。 撰写提示词前需要先创建提示词工程,用于对提示词进行统一管理。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent 开发 > 提示词工程 > 提示词开发”,单击界面右上角“创建工程”。
盘古大模型服务(PanguLargeModels)致力于深耕行业,打造多领域行业大模型和能力集。盘古大模型能力通过ModelArts Studio大模型开发平台承载,它提供了包括盘古大模型在内的多种大模型服务,提供覆盖全生命周期的大模型工具链。 产品介绍 立即使用 在线体验 图说ECS 成长地图 由浅入深,带您玩转盘古大模型
文本类数据集支持发布的格式为: 默认格式:平台默认的格式。 盘古格式:训练盘古大模型时,需要将数据集格式发布为“盘古格式”。 自定义格式:文本类数据集可以使用自定义脚本进行数据格式转换。 发布文本类数据集操作步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1
图片类数据集支持发布的格式为: 默认格式:平台默认的格式。 盘古格式:训练盘古大模型时,需要将数据集格式发布为“盘古格式”。 自定义格式:文本类数据集可以使用自定义脚本进行数据格式转换。 发布图片类数据集操作步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1
视频类数据集格式要求 ModelArts Studio大模型开发平台支持创建视频类数据集,创建时支持导入mp4或avi格式文件,同一文件夹下mp4或avi格式的所有视频文件会被同时上传导入,具体格式要求详见表1。 表1 视频类数据集格式要求 文件内容 文件格式 文件要求 视频 mp4或avi
仅支持对知识性应用进行观测和调试。 前提条件 已成功创建应用。 操作步骤 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent开发”,将跳转至Agent开发平台。 单击左侧导航栏“工作台”,在“应用”页签,单击待调试的应用。单击应用右上侧的“调试详情”,进入调试详情页面。
数据加工算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。 平台支持气象类数据集的加工操作,气象类加工算子能力清单见表1。 表1 气象类加工算子能力清单 算子分类 算子名称 算子描述 科学计算 气象预处理
数据加工算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。 平台提供了图文类、图片类加工算子,算子能力清单见表1、表2。 图文类加工算子能力清单 表1 图文类加工算子能力清单 算子分类 算子名称 算子描述