检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据资源:数据通算单元适用于数据加工,用于正则类算子加工、数据智算单元适用于数据加工,用于AI类算子加工,数据托管单元适用于数据工程,用于存储数据集。 训练资源:训练单元可用于所有大模型的模型训练、模型压缩功能。
表2 盘古科学计算大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。
试用申请步骤如下: 登录ModelArts Studio大模型开发平台。 单击“试用咨询”,进入华为云售前咨询页面。 图1 申请试用 填写姓名、联系电话等用户信息,单击“提交申请”进行表单预约。 父主题: 准备工作
平台支持人工标注和AI预标注两种方式,用户可根据需求选择合适的标注方式。数据标注的质量直接影响模型的训练效果和精度。
平台支持人工标注和AI预标注两种方式,用户可根据需求选择合适的标注方式。数据标注的质量直接影响模型的训练效果和精度。 通过这些数据加工操作,平台能够有效清理噪声数据、标准化数据格式,并优化数据集的整体质量。
平台支持人工标注和AI预标注两种方式,用户可根据需求选择合适的标注方式。数据标注的质量直接影响模型的训练效果和精度。
比较条件:条件表达式中间部分,当前支持的比较条件有: equal:等于 not equal:不等于 contain:包含 not contain:不包含 比较对象、值:条件表达式右边部分,支持“引用”和“输入”两种类型。 引用:支持用户选择工作流中已包含的前置节点输出变量值。
中期海洋智能预测模型的训练类型选择建议: 中期海洋智能预测模型的训练支持预训练、微调两种操作,如果直接使用平台预置的区域中期海洋智能预测模型不满足您的使用要求时,可以进行预训练或微调。
Token计算器 功能介绍 为了帮助用户更好地管理和优化Token消耗,平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量,提供费用预估,并优化数据预处理策略。
平台支持气象类数据集的加工操作,气象类加工算子能力清单见表1。 表1 气象类清洗算子能力清单 算子分类 算子名称 算子描述 科学计算 气象预处理 将二进制格式的气象数据文件转换成结构化JSON数据。 父主题: 数据集清洗算子介绍
平台提供了图文类、图片类清洗算子,算子能力清单见表1。 表1 图片类清洗算子能力清单 算子分类 算子名称 算子描述 数据提取 图文提取 提取图文压缩包中的JSON文本和图片,并对图片进行结构化解析(BASE64编码)。
发布训练后的科学计算大模型 科学计算大模型训练完成后,需要执行发布操作,操作步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,单击模型名称进入任务详情页。
登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,进入模型训练页面,可进行如下操作: 编辑。单击操作列的“编辑”,可以修改模型的checkpoints、训练参数、训练数据以及基本信息等。 启动。
管理预测大模型部署任务 模型更新 完成创建预测大模型部署任务后,可以替换已部署的模型并升级配置,具体步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
管理专业大模型部署任务 模型更新 完成创建专业大模型部署任务后,可以替换已部署的模型并升级配置,具体步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
步骤1:创建并配置多语言文本翻译工作流 登录ModelArts Studio大模型开发平台,单击“AGENT开发”,将跳转至Agent开发平台。 图1 AGENT开发 在Agent开发平台,单击左侧导航栏“工作台”,在“工作流”页签,单击右上角“创建工作流”。
管理科学计算大模型部署任务 模型更新 完成创建科学计算大模型部署任务后,可以替换已部署的模型并升级配置,具体步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
平台支持视频类数据集的清洗操作,分为数据提取、数据过滤、数据打标三类,视频类加工算子能力清单见表1。
发布其他类数据集 其他类数据集当前仅支持发布为“默认格式”,操作步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”,单击界面右上角“创建流通任务”。
登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent 开发 > 提示词工程 > 提示词开发”。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务右侧“撰写”。 图1 提示词工程 在“撰写”页面,选择左侧导航栏中的“候选”。