检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持数据发布的数据集类型 数据类型 数据评估 数据发布 文本类 √ √ 图片类 √ √ 视频类 √ √ 气象类 - √ 预测类 - √ 其他类 - √ ModelArts Studio大模型开发平台支持将文本类、图片类数据集发布为两种格式: 标准格式:适用于广泛的数据使用场景,满足大
数据集加工算子介绍 文本类加工算子介绍 视频类加工算子介绍 图片类加工算子介绍 气象类加工算子介绍 父主题: 加工数据集
数据集格式要求 文本类数据集格式要求 图片类数据集格式要求 视频类数据集格式要求 气象类数据集格式要求 预测类数据集格式要求 其他类数据集格式要求 父主题: 使用数据工程构建数据集
加工数据集 数据集加工场景介绍 数据集加工算子介绍 加工文本类数据集 加工图片类数据集 加工视频类数据集 加工气象类数据集 管理加工后的数据集 父主题: 使用数据工程构建数据集
发布数据集 数据集发布场景介绍 发布文本类数据集 发布图片类数据集 发布视频类数据集 发布气象类数据集 发布预测类数据集 发布其他类数据集 管理发布后的数据集 父主题: 使用数据工程构建数据集
型训练。因此,数据的获取、加工、合成、标注、配比、评估、发布等环节,成为数据开发中不可或缺的重要步骤。 数据工程操作流程见图1、表1。 图1 数据集构建流程图 表1 数据集构建流程表 流程 子流程 说明 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。
本类、图片类数据集支持发布为盘古格式。 NLP大模型开发流程 ModelArts Studio大模型开发平台提供了NLP大模型的全流程开发支持,涵盖了从数据处理到模型训练、压缩、部署、评测、调用的各个环节。 NLP大模型开发流程见图4、表4。 图4 NLP大模型开发流程图 表4 NLP大模型开发流程表
数据分布不均而引发的问题。 配比文本类数据集 发布文本类数据集 评估文本类数据集 平台预置了多种数据类型的基础评估标准,包括NLP、视频和图片数据,用户可根据需求选择预置标准或自定义评估标准,从而精确优化数据质量,确保数据满足高标准,提升模型性能。 评估文本类数据集 发布文本类数据集
单击左侧导航栏“工作台”,在“应用”页签,单击右上角“创建应用”。 在“创建应用”页面,填写应用名称与应用描述,单击页面左下角的图片可修改应用图标,单击“确定”,进入应用编排页面。 步骤2:配置提示词 创建应用后,需要撰写提示词(Prompt),为Agent设定人设、目标、核心技能、执行步骤。
起报时间间隔小时数,默认6。 forecast_lead_hours Long 预报未来小时数,默认168。 draw_figures String 是否输出结果图片,取值true/false,默认true。 forecast_features String 确定性预报的输出要素,例如“Surface:U;1000:T;800:
获取项目ID 从控制台获取项目ID 登录管理控制台。 在页面右上角的用户名的下拉列表中选择“我的凭证”。 图1 我的凭证 在“我的凭证”页面,获取项目ID(project_id),以及账号名、账号ID、IAM用户名和IAM用户ID。 在调用盘古API时,获取的项目id需要与盘古服
在“创建部署”页面,参考表1、图1,完成部署参数设置。 表1 区域中期海洋智能预测模型部署参数说明 参数分类 部署参数 参数说明 部署配置 模型来源 选择“盘古大模型” 模型类型 选择“科学计算大模型”。 场景 本案例中选择“区域中期海洋智能预测”。 部署模型 从资产中选择需要部署的模型。
起报时间间隔小时数,默认6。 forecast_lead_hours Long 预报未来小时数,默认168。 draw_figures String 是否输出结果图片,取值true/false,默认true。 forecast_features String 确定性预报的输出要素,例如“Surface:U;1000:T;800:
下越小越好。 您可以从平台的训练日志中获取到每一步的Loss,并绘制成Loss曲线,来观察其变化趋势。一般来说,一个正常的Loss曲线应该是单调递减的,即随着训练的进行,Loss值不断减小,直到收敛到一个较小的值。 以下给出了几种正常的Loss曲线形式: 图1 正常的Loss曲线:平滑下降
他局点盘古大模型,导入至其他局点进行使用。 以从环境A迁移模型到环境B为例: 登录环境B的ModelArts Studio大模型开发平台,在“空间资产 > 模型”页面,单击右上角的“导入模型”。 在“导入模型”页面,下载用户证书。 图1 下载用户证书 登录环境A的ModelArts
Long 预报未来小时数,默认168。如需预报未来30天,可将此参数设置成720。 draw_figures 否 String 是否输出结果图片,取值true/false,默认true。 forecast_features 否 String 确定性预报的输出要素,例如“Surface:U;1000:T;800:
当前支持数据加工操作的数据集类型见表1。 表1 支持数据加工操作的数据集类型 数据类型 数据加工 数据合成 数据标注 数据配比 文本类 √ √ √ √ 图片类 √ - √ √ 视频类 √ - √ - 气象类 √ - - - 预测类 - - - - 其他类 √(仅可使用自定义算子) - - - 父主题:
hycom.org/datasets/GLBv0.08/expt_53.X/data/,用户可直接根据文件名下载所需时间的nc文件数据,如图1。 图1 Hycom数据集下载界面 对区域海洋模型进行微调时,推荐使用大于3个月的hycom数据。 数据预处理 hycom海洋数据预处理的要求如下:
_decay_ratio=0.01,loss曲线如图1,训练后发现模型回答政务问题存在错误,初步判定为欠拟合,可以适当增加迭代次数。当调整为epoch=5时,loss曲线如图2,训练后可以正确回答政务问题。 图1 优化超参数前 图2 优化超参数后 参数的选择没有标准答案,您需要根
)。 在我的凭证下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通