检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
一个与目标任务同属的问题,回答的结果却不理想。这种情况可能是由于以下几个原因导致的,建议您依次排查: 测试集质量:请检查测试集的目标任务和分布与实际场景是否一致,质量较差的测试集无法反映模型的真实结果。 数据质量:请检查训练数据的质量,若训练样本和目标任务不一致或者分布差异较大,
创造性、多样性、准确性和丰富度等等。 当前,平台支持的推理参数包括:温度、核采样以及话题重复度控制,如下提供了这些推理参数的建议值和说明,供您参考: 表1 推理参数的建议和说明 推理参数 范围 建议值 说明 温度(temperature) 0~1 0.3 温度主要用于控制模型输出
Studio大模型开发平台的空间资产中,包括数据和模型两类资产。这些资产为用户提供了集中管理和高效操作的基础,便于用户实现统一查看和操作管理。 数据资产:用户已发布的数据集将作为数据资产存放在空间资产中。用户可以查看数据集的详细信息,包括数据格式、大小、配比比例等。同时,平台支持数据集的删
图片类数据集格式要求 ModelArts Studio大模型开发平台支持创建图片类数据集,创建时可导入图片、图片+Caption、图片+QA对三种类型的数据,具体格式要求详见表1。 表1 图片类数据集格式要求 文件内容 文件格式 文件要求 图片 tar、图片目录 图片:支持jpg
申请试用盘古大模型服务 盘古大模型为用户提供了服务试用,需提交试用申请,申请通过后试用盘古大模型服务。 登录ModelArts Studio大模型开发平台首页。 在首页单击“试用咨询”,申请试用盘古大模型服务。 图1 申请试用 父主题: 准备工作
在ModelArts Studio大模型开发平台中,使用数据工程创建盘古科学计算大模型数据集流程见表2。 表2 盘古科学计算大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建原始数据集 数据集是指用于模型训练或评测的一组相关数据样本,上传至平台的数据将被创建为原始数据集进行统一管理。
视频类数据集格式要求 ModelArts Studio大模型开发平台支持创建视频类数据集,创建时支持导入mp4或avi格式文件,同一文件夹下mp4或avi格式的所有视频文件会被同时上传导入,具体格式要求详见表1。 表1 视频类数据集格式要求 文件内容 文件格式 文件要求 视频 mp4或avi
》“开发盘古NLP大模型 > 部署NLP大模型 > 创建NLP大模型部署任务”。 操作流程 登录ModelArts Studio大模型开发平台,进入所需空间。 获取调用路径及部署ID。单击左侧“模型开发 > 模型部署”,选择所需调用的NLP大模型,单击“调用路径”,在“调用路径”弹窗获取调用路径及部署ID。
数据加工算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。 平台支持气象类数据集的加工操作,气象类加工算子能力清单见表1。 表1 气象类加工算子能力清单 算子分类 算子名称 算子描述 科学计算 气象预处理
数据加工算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。 平台提供了图文类、图片类加工算子,算子能力清单见表1、表2。 图文类加工算子能力清单 表1 图文类加工算子能力清单 算子分类 算子名称 算子描述
rts 拥有用户OBS桶只读权限 盘古用户角色 盘古大模型的用户可以被赋予不同的角色,对平台资源进行精细化的控制。 表2 角色定义 角色名称 角色描述 超级管理员 订购服务的用户,具备当前平台下对所有工作空间的所有权限。 管理员 对工作空间有完全访问权,包括查看、创建、编辑或删除
在ModelArts Studio大模型开发平台中,使用数据工程构建盘古NLP大模型数据集流程见表2。 表2 盘古NLP大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建原始数据集 数据集是指用于模型训练或评测的一组相关数据样本,上传至平台的数据将被创建为原始数据集进行统一管理。
Token计算器 功能介绍 为了帮助用户更好地管理和优化Token消耗,平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量,提供费用预估,并优化数据预处理策略。 URI POST /v1/{project_id}/deployment
数据工程所包含的具体功能如下: 数据获取:数据获取是数据工程的第一步,涉及从不同来源和格式的数据导入到平台。ModelArts Studio大模型开发平台提供多种高效灵活的数据接入方式,支持本地上传、通过OBS服务将数据导入平台。平台支持的多种数据类型包括文本、图片、视频等,能够满足不同行业和业务需求的多样
》“开发盘古NLP大模型 > 部署NLP大模型 > 创建NLP大模型部署任务”。 操作流程 登录ModelArts Studio大模型开发平台,进入所需空间。 单击左侧“能力调测”,进入“文本对话”页签,选择服务与人设,参数设置为默认参数,在输入框输入问题,单击“生成”,模型将基于问题进行回答。
数据加工算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。 平台支持文本类数据集的加工操作,分为数据提取、数据转换、数据过滤三类,文本类加工算子能力清单见表1。 表1 文本类加工算子能力清单 算子分类 算子名称
创建提示词评估任务 选择候选提示词进行批量自动化评估,步骤如下:。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent 开发 > 提示词工程 > 提示词开发”。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务右侧“撰写”。
在训练任务列表中,任务创建者可以对创建好的任务进行编辑、启动、克隆(复制训练任务)、重试(重新训练任务)和删除操作。 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“模型开发 > 模型训练”,进入模型训练页面,可进行如下操作: 编辑。单击操作
创建科学计算大模型训练任务 创建科学计算大模型训练任务步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“模型开发 > 模型训练”,单击界面右上角“创建训练任务”。 在“创建训练任务”页面,模型类型选择“科学
如果使用全球中期降水预测模型,需要选择1个平台预置好的全球中期降水预测模型,并选择对应的全球中期天气要素预测模型。并且至少有一个中期天气要素模型时间分辨率要小于等于降水模型时间分辨率。 部署模型 在“从资产选模型”选择所需模型。 部署方式 云上部署:算法部署至平台提供的资源池中。 边缘部署:算法部署至客户的边缘设备中。