检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据,同时需要完成加工作业,加工时需选择气象预处理算子。 训练集 选择训练数据中的部分时间数据,训练数据集尽可能多一些。 验证集 选择验证集中的部分时间数据,验证集数据不能跟训练集数据重合。 层次 设置训练数据的层次信息。在“预训练”场景中,可以添加或去除高空层次,训练任务将根据配置的层次信息重新训练模型。
创建盘古工作空间步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”分页,单击“创建空间”。 填写空间名称、描述,单击“确认”,完成空间的创建。 图1 创建空间 单击创建好的空间,进入ModelArts Studio大模型开发平台。 如果用户具备多个空间的访问权限,可在页面左上角单击切换空间。
配置服务访问授权 配置OBS访问授权 ModelArts Studio大模型开发平台使用对象存储服务(Object Storage Service,简称OBS)进行数据存储,实现安全、高可靠和低成本的存储需求。因此,为了能够顺利进行存储数据、训练模型等操作,需要用户配置访问OBS服务的权限。
数据工程使用流程 数据集格式要求 导入数据至盘古平台 加工数据集 发布数据集 模型开发工具链 模型开发工具链是盘古大模型服务的核心组件,提供从模型创建到部署的一站式解决方案。 该工具链具备模型训练、压缩、部署、评测、推理等功能,通过高效的推理性能和跨平台迁移工具,模型开发工具链能够保障模型在不同环境中的高效应用。
发布训练后的NLP大模型 NLP大模型训练完成后,需要执行发布操作,操作步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,单击模型名称进入任务详情页。 单击进入“训练结果”页签,单击“发布”。
获取调用路径 应用的调用路径获取步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“Agent开发”,跳转至Agent开发平台。 在“工作台 > 应用”页面,单击所需应用的“ > 调用路径”。 图1 获取应用调用路径-1
如何查看预置模型的历史版本 ModelArts Studio平台支持查看预置模型的多个历史版本,并提供对历史版本进行训练等操作的功能。您还可以查看每个版本的操作记录、状态以及其他基础信息。 要查看预置模型的历史版本,您可以按照以下步骤操作: 进入平台的“空间资产 > 模型 > 预置”页面。 在该
的其他类型数据。平台提供灵活的数据接入方式以及支持多种文件格式导入,确保不同业务场景下的数据获取需求得到满足。 数据清洗:平台提供强大的数据清洗功能,可以对文本、视频、图片、气象类型的数据进行数据提取、过滤、转换、打标签和评分等加工处理。针对不同类型的数据集,平台提供了专用的清洗
清洗文本类数据集 清洗文本类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。 创建文本类数据集清洗任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工 > 数据
清洗气象类数据集 清洗气象类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。 创建气象类数据集清洗任务 创建气象类数据集清洗任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工
清洗视频类数据集 清洗视频类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。 创建视频类数据集清洗任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工 > 数据
获取调用路径 工作流的调用路径获取步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“Agent开发”,跳转至Agent开发平台。 在“工作台 > 工作流”页面,单击所需工作流的“ > 调用路径”。 图1 获取工作流调用路径-1
清洗图片类数据集 清洗图片类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。 创建图片类数据集清洗任务 创建图片类数据集清洗任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工
创建科学计算大模型部署任务 平台支持部署训练后的模型或预置模型,操作步骤如下: 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。 在“创建部署”页面,参考表1完成部署参数设置。 表1 科学计算大模型部署参数说明
创建文本类数据集标注任务 标注文本类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。 创建文本类数据集标注任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工 > 数据
创建预测大模型部署任务 平台支持部署训练后的模型或预置模型,操作步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。 在“创建部署”页面,参考表1完成部署参数设置。
创建专业大模型部署任务 平台支持部署预置的专业大模型,操作步骤如下: 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。 在“创建部署”页面,参考表1完成部署参数设置。 表1 专业大模型部署参数说明
视频类数据集格式要求 ModelArts Studio大模型开发平台支持创建视频类数据集,创建时可导入多种形式的数据,具体格式要求详见表1。 表1 视频类数据集格式要求 文件内容 文件格式 文件要求 视频 mp4或avi 支持mp4、avi视频格式上传,所有视频可以放在多个文件夹
统计NLP大模型调用信息 针对调用的大模型,平台提供了统一的管理功能。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 单击左侧导航栏“调用统计”,选择“NLP”页签。 选择当前调用的NLP大模型,可以按照不同时间跨度查看当前模型的调用
创建文本类数据集合成任务 合成文本类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。 创建文本类数据集合成任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工 > 数据