检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
盘古科学计算大模型微调训练实践 微调场景介绍 构建微调训练任务数据集 构建微调训练任务 构建部署任务 微调典型问题 父主题: 模型训练实践
模型支持区域 模型名称 说明 西南-贵阳一 Pangu-NLP-BI-4K-20241130 2024年11月发布的版本,支持4K序列长度推理,支持4个推理单元部署。
模型资产退订后不影响运行中的模型训练、压缩、评测、部署等任务,但退订之后将无法再选择该模型创建任务,请谨慎操作。 退订属于高危操作,在退订模型资产前,请确保您已保存所有必要的数据和进度,以避免不必要的损失。
华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。
当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成的结果不完整,出现了异常截断。
config TaskConfigDto object 科学计算大模型配置信息。 表3 TaskInputDto 参数 参数类型 描述 type String 存储类型。 data Array of ObsStorageDto objects 输入数据的OBS信息。
针对“零码”开发者(无代码开发经验),平台提供了Prompt智能生成、插件自定义等能力,方便用户快速构建、调优、运行属于自己的大模型应用,仅需几步简单的配置即可创建属于自己的Agent应用。
在“基本配置”中选择数据用途、数据集可见性、适用场景。 由于数据工程需要支持对接盘古大模型,为了使这些数据集能够被这些大模型正常训练,平台支持发布不同格式的数据集。 当前支持标准格式、盘古格式: 标准格式:数据工程功能支持的原始格式。
在“基本配置”中选择数据用途、数据集可见性、适用场景。 由于数据工程需要支持对接盘古大模型,为了使这些数据集能够被这些大模型正常训练,平台支持发布不同格式的数据集。 当前支持标准格式、盘古格式: 标准格式:数据工程功能支持的原始格式。
表1 训练状态说明 训练状态 训练状态含义 初始化 模型训练任务正在进行初始化配置,准备开始训练。 排队中 模型训练任务正在排队,请稍等。 运行中 模型正在训练中,训练过程尚未结束。 停止中 模型训练正在停止中。 已停止 模型训练已被用户手动停止。
功能强,Agent开发“好” Agent开发提供便捷搭建大模型应用功能,并提供功能强大的插件配置,让Agent能力更强,更专业。
在“基本配置”中选择数据用途、数据集可见性、适用场景。当前预测类数据集仅支持发布标准格式。 填写数据集名称、描述,设置扩展信息后,单击“确定”执行数据集发布操作。
参考表2配置标注分配与审核。 表2 标注分配与审核配置 参数类型 参数名称 参数说明 标注分配 标注员 添加标注人员与数量。 标注审核 是否审核 否,标注后不进行审核操作。 是,审核员会检查标注员的标注内容,若发现问题,审核员可注明原因并驳回标注数据,标注员需重新标注。
其中,“单轮问答”标注项支持“AI辅助标注”功能,若开启该功能,需要选择已部署的NLP服务作为AI辅助标注模型。 可选择开启“多人作业”功能,开启后,可选择多人协同完成作业,并增加审核功能可供选择。参考表2配置标注分配与审核。
在“基本配置”中选择数据用途、数据集可见性、适用场景。当前气象类数据集仅支持发布标准格式。 填写数据集名称、描述,设置扩展信息后,单击“确定”执行数据集发布操作。
在“基本配置”中选择数据用途、数据集可见性、适用场景。当前其他类数据集仅支持发布标准格式。 填写数据集名称、描述,设置扩展信息后,单击“确定”执行数据集发布操作。
) 0 部署推理服务后,可以采用人工评测的方案来评估模型效果。
在“基本配置”中选择数据用途、数据集可见性、适用场景。当前视频类数据集仅支持发布标准格式。 填写数据集名称、描述,设置扩展信息后,单击“确定”执行数据集发布操作。
参考表2配置标注分配与审核。 表2 标注分配与审核配置 参数类型 参数名称 参数说明 标注分配 标注员 添加标注人员与数量。
导出应用时,将同步导出应用关联的插件和工作流等配置。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“Agent开发”,跳转至Agent开发平台。 进入“工作台 > 应用”页面。 导出应用。