检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据加工算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。 平台支持气象类数据集的加工操作,气象类加工算子能力清单见表1。 表1 气象类清洗算子能力清单 算子分类 算子名称 算子描述 科学计算 气象预处理
流通文本类数据集 数据流通是将单个数据集发布为特定格式的“发布数据集”的过程,用于后续模型训练等操作。 单个文本类数据集支持发布的格式为: 默认格式:平台默认的格式。 在默认格式中,context和target是键值对。示例如下: {"context": "你好,请介绍自己", "target":
发布训练后的CV大模型 CV大模型训练完成后,需要执行发布操作,操作步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,单击模型名称进入任务详情页。 单击进入“训练结果”页签,单击“发布”。
发布训练后的预测大模型 预测大模型训练完成后,需要执行发布操作,操作步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,单击模型名称进入任务详情页。 单击进入“训练结果”页签,单击“发布”。
构造请求 本节介绍REST API请求的组成,并以调用服务的获取用户Token接口说明如何调用API。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987 。 请求示例如图1,一个请求主要由请求U
发布气象类数据集 气象类数据集当前仅支持发布为“默认格式”,操作步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”,单击界面右上角“创建流通任务”。 在“创建流通任务”页面,选择数据集模态,如“气象
预训练的NLP大模型不支持评测。 创建NLP大模型自动评测任务 创建NLP大模型自动评测任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型评测”,单击界面右上角“创建评测任务”。 在“创建评测任务”页面,参考表1完成部署参数设置。
发布训练后的科学计算大模型 科学计算大模型训练完成后,需要执行发布操作,操作步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,单击模型名称进入任务详情页。 单击进入“训练结果”页签,单击“发布”。
发布预测类数据集 预测类数据集当前仅支持发布为“默认格式”,操作步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”,单击界面右上角“创建流通任务”。 在“创建流通任务”页面,选择数据集模态,如“预测
创建提示词评估任务 选择候选提示词进行批量自动化评估,步骤如下:。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent 开发 > 提示词工程 > 提示词开发”。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务右侧“撰写”。
ments/{deployment_id}/chat/completions 获取调用路径 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 获取调用路径。 在左侧导航栏中选择“模型开发 > 模型部署”。 获取已部署模型的调用路径。在“我
创建NLP大模型训练任务 创建NLP大模型预训练任务 创建NLP大模型预训练任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,单击右上角“创建训练任务”。 在“创建训练任务”页面,参考表1完成训练参数设置。
评测数据集的创建步骤与训练数据集一致,本章节仅做简单介绍,详细步骤请参见使用数据工程构建NLP大模型数据集。 登录ModelArts Studio平台,进入所需空间。 在左侧导航栏中选择“数据工程 > 数据获取”,单击界面右上角“创建导入任务”。 在“创建导入任务”页面选择所需要的“文件
查看CV大模型部署任务详情 部署任务创建成功后,可以查看大模型部署的任务详情,具体步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”,完成创建CV大模型部署任务后,可以查看模型的部署状态。
发布其他类数据集 其他类数据集当前仅支持发布为“默认格式”,操作步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”,单击界面右上角“创建流通任务”。 在“创建流通任务”页面,选择数据集模态,如“其他
横向比较提示词效果 将设置为候选的提示词横向比对,获取提示词的差异性和效果。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent 开发 > 提示词工程 > 提示词开发”。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务右侧“撰写”。
模型在部署前,通过模型压缩可以降低推理显存占用,节省推理资源提高推理性能。 当前仅支持对NLP大模型进行压缩。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型压缩”,单击界面右上角“创建压缩任务”。 在“创建压缩任务
使用API调用科学计算大模型 预置模型或训练后的模型部署成功后,可以使用API调用科学计算大模型。 获取调用路径 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 获取调用路径。 在左侧导航栏中选择“模型开发 > 模型部署”。 获取已部署模型的调用路径。在“我
查看NLP大模型评测报告 评测任务创建成功后,可以查看大模型评测任务报告,具体步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型评测”。 单击操作列“评测报告”,在“评测报告”页面,可以查看评测任务的基本信息及评测概览。
查看科学计算大模型部署任务详情 部署任务创建成功后,可以查看大模型部署的任务详情,具体步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”,完成创建科学计算大模型部署任务后,可以查看模型的部署状态。