检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建文本类数据集加工任务前,请先完成“原始数据集”的创建与上线,具体步骤请参见导入数据至盘古平台。 创建文本类数据集加工任务步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据加工”,单击界面右上角“创建加工数据集”。
手工编排Agent应用流程 手工编排Agent应用流程步骤如下: 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent开发”,将跳转至Agent开发平台。 单击左侧导航栏“工作台”,在“应用”页签,单击右上角“创建应用”。 您也可以鼠标单击已有应用右
统计模型调用信息 针对调用的大模型,平台提供了统一的管理功能。 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 单击左侧导航栏“调用统计”,选择“NLP”页签。 选择当前调用的NLP大模型,可以按照不同时间跨度查看当前模型的调用总数、调
创建气象类数据集加工任务前,请先完成“原始数据集”的创建与上线,具体步骤请参见导入数据至盘古平台。 创建气象类数据集加工任务步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据加工”,单击界面右上角“创建加工数据集”。
创建视频类数据集加工任务前,请先完成“原始数据集”的创建与上线,具体步骤请参见导入数据至盘古平台。 创建视频类数据集加工任务步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据加工”,单击界面右上角“创建加工数据集”。
文本类数据集格式要求 ModelArts Studio大模型开发平台支持创建文本类数据集,创建时可导入多种形式的数据,具体格式要求详见表1。 表1 文本类数据集格式要求 文件内容 文件格式 文件要求 文档 txt、mobi、epub、docx、pdf 数据集最大100万个文件,单
域行业大模型和能力集。盘古大模型能力通过ModelArts Studio大模型开发平台承载,它提供了包括盘古大模型在内的多种大模型服务,提供覆盖全生命周期的大模型工具链。 产品介绍 立即使用 在线体验 图说ECS 成长地图 由浅入深,带您玩转盘古大模型 01 了解 了解盘古大模型
产是用户在平台上进行开发和管理的基础,集中存储和统一管理的方式有助于提升操作效率,并确保资源的规范性与安全性。 数据资产:数据资产是指用户在平台上发布的所有数据集。这些数据集会被存储在数据资产中,用户可以随时查看数据集的详细信息,如数据格式、大小、配比比例等,同时平台会自动记录每
获取提示词模板 平台提供了多种任务场景的提示词模板,可以帮助用户更好地利用大模型的能力,引导模型生成更准确、更有针对性的输出,从而提高模型在特定任务上的性能。 在创建提示词工程前,可以先使用预置的提示词模板,或基于提示词模板进行改造 。如果提示词模板满足不了使用需求可再单独创建。
估模型训练效果: Loss曲线:通过Loss曲线的变化趋势来评估训练效果,确认训练过程是否出现了过拟合或欠拟合等异常情况。 模型评估:使用平台的“模型评估”功能,“模型评估”将对您之前上传的测试集进行评估。通过查看测试集样本的PPL、BLEU和ROUGE等指标,进行横向(相同训练
创建图片类数据集评估标准 ModelArts Studio大模型开发平台针对图片数据集预设的一套评估标准,涵盖了图像清晰度、分辨率、标签准确性、图像一致性等多个质量维度,用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准,可跳过此章节至创建图片类数据集评估任务。
Studio大模型开发平台的空间资产中,包括数据和模型两类资产。这些资产为用户提供了集中管理和高效操作的基础,便于用户实现统一查看和操作管理。 数据资产:用户已发布的数据集将作为数据资产存放在空间资产中。用户可以查看数据集的详细信息,包括数据格式、大小、配比比例等。同时,平台支持数据集的删
图片类数据集格式要求 ModelArts Studio大模型开发平台支持创建图片类数据集,创建时可导入图片、图片+Caption、图片+QA对三种类型的数据,具体格式要求详见表1。 表1 图片类数据集格式要求 文件内容 文件格式 文件要求 图片 tar、图片目录 图片:支持jpg
申请试用盘古大模型服务 盘古大模型为用户提供了服务试用,需提交试用申请,申请通过后试用盘古大模型服务。 登录ModelArts Studio大模型开发平台首页。 在首页单击“试用咨询”,申请试用盘古大模型服务。 图1 申请试用 父主题: 准备工作
URI POST /tasks 科学计算大模型的API请求地址可以直接在ModelArts Studio大模型开发平台获取: 登录ModelArts Studio大模型开发平台,进入所需空间。 获取调用路径及部署ID。单击左侧“模型开发 > 模型部署”,选择所需调用的大模型,单击“调用
URI POST /tasks 科学计算大模型的API请求地址可以直接在ModelArts Studio大模型开发平台获取: 登录ModelArts Studio大模型开发平台,进入所需空间。 获取调用路径及部署ID。单击左侧“模型开发 > 模型部署”,选择所需调用的大模型,单击“调用
使用“能力调测”调用NLP大模型 平台提供的“能力调测”功能支持用户直接调用预置模型或经过训练的模型。使用该功能前,需完成模型的部署操作,详见创建NLP大模型部署任务。 NLP大模型支持文本对话能力,在输入框中输入问题,模型就会返回对应的答案内容。 图1 调测NLP大模型 表1 NLP大模型能力调测参数说明
视频类数据集格式要求 ModelArts Studio大模型开发平台支持创建视频类数据集,创建时支持导入mp4或avi格式文件,同一文件夹下mp4或avi格式的所有视频文件会被同时上传导入,具体格式要求详见表1。 表1 视频类数据集格式要求 文件内容 文件格式 文件要求 视频 mp4或avi
INT8量化、断点续训、在线推理和能力调测特性。单卡部署4K模型版本支持64并发,单卡部署32K模型版本支持32并发。 Pangu-NLP-N1-Chat-128K-20241030 128K 此版本是2024年10月发布的十亿级模型版本,支持128K在线推理。基于Snt9B3卡
数据加工算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。 平台支持气象类数据集的加工操作,气象类加工算子能力清单见表1。 表1 气象类加工算子能力清单 算子分类 算子名称 算子描述 科学计算 气象预处理