检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发布训练后的科学计算大模型 科学计算大模型训练完成后,需要执行发布操作,操作步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,单击模型名称进入任务详情页。 单击进入“训练结果”页签,单击“发布”。
数据集恢复。 如果需要彻底删除数据集,可单击数据集名称进入详情页,确认数据集内容后彻底删除该数据集。 删除原始数据集属于高危操作,删除前,请确保该数据集不再使用。 父主题: 发布数据集
气象类数据集格式要求 ModelArts Studio大模型开发平台支持导入气象类数据集,该数据集当前包括海洋气象数据。 海洋气象数据通常来源于气象再分析。气象再分析是通过现代气象模型和数据同化技术,重新处理历史观测数据,生成高质量的气象记录。这些数据既可以覆盖全球范围,也可以针
预测类数据集格式要求 平台支持创建预测类数据集,创建时可导入时序数据、回归分类数据。 时序数据:时序预测数据是一种按时间顺序排列的数据序列,用于预测未来事件或趋势,过去的数据会影响未来的预测。 回归分类数据:回归分类数据包含多种预测因子(特征),用于预测连续变量的值,与时序数据不
复制”,可复制当前工作流。 单击“ > 复制ID”,可获取当前工作流ID。 单击“ > 删除”,可删除当前工作流。 删除应用属于高危操作,删除前,请确保该工作流不再使用。 导出、导入工作流 平台支持导出和导入工作流。导出工作流时,将同步导出工作流关联的插件等配置。 登录ModelArts
视频类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签和评分等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。 平台支持视频类数据集的清洗操作,分为数据提取、数据过滤、数据打标三类,视频类加工算子能力清单见表1。
预训练:训练用于添加新的高空层次、高空变量或表面变量。如果您需要在现有模型中引入新要素,需要使用训练(重新训练模型)。在重训配置参数时,您可以选择新要素进行训练。请注意,所选的数据集必须包含您想要添加的新要素。此外,您还可以通过训练更改所有的模型参数,以优化模型性能。 微调:微调是将新数据应用
文本类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。 平台支持文本类数据集的清洗操作,分为数据提取、数据转换、数据过滤三类,文本类加工算子能力清单见表1。
管理科学计算大模型部署任务 模型更新 完成创建科学计算大模型部署任务后,可以替换已部署的模型并升级配置,具体步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”,单击模型名称,进入模型详情页面。
NLP大模型训练常见报错与解决方案 NLP大模型训练常见报错及解决方案请详见表1。 表1 NLP大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时,数据集列表为空。 创建训练任务时,数据集选择框中显示为空,无可用的训练数据集。 数据集未发布。 请
预测大模型训练常见报错与解决方案 预测大模型训练常见报错及解决方案请详见表1。 表1 预测大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时,数据集列表为空。 创建训练任务时,数据集选择框中显示为空,无可用的训练数据集。 数据集未发布。 请提前创
CV大模型训练常见报错与解决方案 CV大模型训练常见报错及解决方案请详见表1。 表1 CV大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时,数据集列表为空。 创建训练任务时,数据集选择框中显示为空,无可用的训练数据集。 数据集未发布。 请提前创
ModelArts Studio大模型开发平台针对文本类数据集预设了一套基础评估标准,涵盖了数据准确性、完整性、一致性、格式规范等多个维度,用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准,可跳过此章节至创建文本类数据集评估任务。 创建文本类数据集评估标准步骤如下:
ModelArts Studio大模型开发平台针对视频类数据集预设了一套基础评估标准,涵盖了视频的清晰度、帧率、完整性、标签准确性等多个质量维度,用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准,可跳过此章节至创建视频类数据集评估任务。 创建视频类数据集评估标准步骤如下:
图片类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。 平台提供了图文类、图片类清洗算子,算子能力清单见表1。 表1 图片类清洗算子能力清单 算子分类
可选择的清洗算子请参见文本类清洗算子能力清单。 在左侧“添加算子”分页勾选所需算子。 在右侧“清洗步骤编排”页面配置各算子参数,可拖动右侧“”以调整算子执行顺序。 图1 算子编排 在编排过程中,可单击右上角“保存为新模板”将当前编排流程保存为模板。后续创建新的数据清洗任务时,可直接单击“选择加工模板”进行使用。
配比文本类数据集 数据配比是将多个数据集按照特定比例关系组合并发布为“发布数据集”的过程,确保数据的多样性、平衡性和代表性。 如果单个数据集已满足您的需求,可跳过此章节至流通文本类数据集。 创建文本类数据集配比任务 创建文本类数据集配比任务步骤如下: 登录ModelArts St
流通视频类数据集 数据流通是将单个数据集发布为特定格式的“发布数据集”的过程,用于后续模型训练等操作。 视频类数据集当前仅支持发布为“默认格式”。 创建视频类数据集流通任务 创建视频类数据集流通任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
管理科学计算大模型训练任务 在训练任务列表中,任务创建者可以对创建好的任务进行编辑、启动、克隆(复制训练任务)、重试(重新训练任务)和删除操作。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,进入模型训练页面,可进行如下操作:
单击“下一步”,进入“指令编排”页面,单击右上角“添加指令”。 在“添加指令”页面可选择预置指令或自定义指令。 预置指令。平台为用户提供了多种预置指令,便于用户执行合成任务。 自定义指令。平台支持编排用户自定义指令。自定义指令的创建详见创建自定义数据合成指令。 指令选择完成后,单击“确定”,并配置指令参数