检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ModelArts Studio大模型开发平台支持标注操作的数据集类型如下: 文本类数据集,详见创建文本类数据集标注任务。 视频类数据集,详见创建视频类数据集标注任务。 图片类数据集,详见创建图片类数据集标注任务。 父主题: 标注数据集
求和模型训练的要求。针对不同类型的数据集,平台提供了专用的加工算子,有效提升数据质量并支持大规模数据处理,确保生成的数据集符合训练的标准。 数据标注:对于无标签的数据,平台支持进行标注或重新标注,以提升数据集的标注质量。针对文本和图片类数据集,平台还提供AI预标注功能,利用盘古大
如何判断盘古大模型训练状态是否正常 判断训练状态是否正常,通常可以通过观察训练过程中Loss(损失函数值)的变化趋势。损失函数是一种衡量模型预测结果和真实结果之间的差距的指标,正常情况下越小越好。 您可以从平台的训练日志中获取到每一步的Loss,并绘制成Loss曲线,来观察其变化
Agent开发平台概述 Agent开发平台简介 Agent开发平台是基于NLP大模型,致力打造智能时代集开发、调测和运行为一体的AI应用平台。无论开发者是否拥有大模型应用的编程经验,都可以通过Agent平台快速创建各种类型的智能体。Agent开发平台旨在帮助开发者高效低成本的构建AI应用,加速领域和行业AI应用的落地。
df,详见文本类数据集格式要求。 网页 支持html,详见文本类数据集格式要求。 预训练文本 支持jsonl,详见文本类数据集格式要求。 单轮问答 支持jsonl、csv,详见文本类数据集格式要求。 单轮问答(人设) 支持jsonl、csv,详见文本类数据集格式要求。 多轮问答
转人工频率极高。面对活动等时效性场景,智能客服无回答能力。提高服务效率:大模型智能客服可以7x24小时不间断服务,相较于人工客服,可以处理更多的客户咨询,且响应速度快;降低运营成本:企业可以通过智能客服处理大部分的常规问题,将人工客服释放出来处理更复杂、更个性化的客户需求;个性
上线加工后的数据集 对加工后的数据集执行上线操作。 标注数据集(可选) 创建数据集标注任务 创建数据集标注任务,并对数据集执行标注操作,标注后的数据可以用于模型训练。 审核数据集标注结果 对数据集的标注结果进行审核。 上线标注后的数据集 对标注后的数据集执行上线操作。 评估数据集(可选)
否正确。可以在“创建原始数据集”页面下载数据样例进行比对。 上线原始数据集 原始数据集创建成功后,在“数据获取”页面的操作列单击“上线”,完成原始数据集上线。 图6 上线数据集 只有上线后的数据集才可用于后续的数据加工、标注、评估、发布操作。 管理原始数据集 原始数据集上线成功后
创建文本类数据集标注任务 创建文本类数据集标注任务前,请先完成创建文本类数据集加工任务。 创建文本类数据集标注任务步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据标注 > 标注管理”,单击页面右上角“创建标注任务”。
支持数据发布的数据集类型 ModelArts Studio大模型开发平台支持发布操作的数据集类型如下: 文本类数据集,详见发布文本类数据集。 视频类数据集,详见发布视频类数据集。 图片类数据集,详见发布图片类数据集。 气象类数据集,详见发布气象类数据集。 预测类数据集,详见发布预测类数据集。
数据加工”,单击界面右上角“创建加工数据集”。 图2 数据加工 在“创建加工数据集”页面,选择需要加工的视频类数据集,并设置数据集的名称和描述信息。 选择数据集时,默认选择当前空间的数据集。如果用户具备其他空间的访问权限,可以选择来自其他空间的数据集。 图3 创建加工数据集 单击“下一步”进入“算
创建图片类数据集标注任务 创建图片类数据集标注任务前,请先完成创建图片类数据集加工任务。 创建图片类数据集标注任务步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据标注 > 标注管理”,单击页面右上角“创建标注任务”。
在“数据血缘”页签查看该数据集所经历的操作,如加工、发布操作。 上线后的加工数据集不支持编辑和删除操作。若执行该操作,需将数据集下线。 若上线后的加工数据集已执行发布操作发布数据集,则不可将该加工数据集下线。 父主题: 加工气象类数据集
创建视频类数据集标注任务 创建视频类数据集标注任务前,请先完成创建视频类数据集加工任务。 创建视频类数据集标注任务步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据标注 > 标注管理”,单击页面右上角“创建标注任务”。
mp4或avi 支持mp4、avi视频格式上传,所有视频可以放在多个文件夹下,每个文件夹下可以同时包含mp4或avi格式的视频。 数据集最大1000万个文件,单文件最大100GB,整个数据集最大100TB。 父主题: 数据集格式要求
支持数据评估的数据集类型 ModelArts Studio大模型开发平台支持评估操作的数据集类型如下: 文本类数据集,详见创建文本类数据集评估任务。 视频类数据集,详见创建视频类数据集评估任务。 图片类数据集,详见创建图片类数据集评估任务。 父主题: 评估数据集
数据加工”,单击界面右上角“创建加工数据集”。 图2 数据加工 在“创建加工数据集”页面,选择需要加工的气象类数据集,并设置数据集的名称和描述信息。 选择数据集时,默认选择当前空间的数据集。如果用户具备其他空间的访问权限,可以选择来自其他空间的数据集。 图3 创建加工数据集 单击“下一步”进入“算
在训练样本中,或虽未出现但和训练样本差异很小的问题,回答完全错误。这种情况可能是由于以下几个原因导致的,建议您依次排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,这种情况大概率是由于训练参数设置的不合理而导致了欠拟合,模型没有学到任何知识。请检查训练参数中的
差异。 在“数据血缘”页签查看该数据集所经历的操作,如加工、发布操作。 上线后的加工数据集不支持编辑和删除操作。若执行该操作,需将数据集下线。 若上线后的加工数据集已执行发布操作发布数据集,则不可将该加工数据集下线。 父主题: 加工视频类数据集
数据加工”,单击界面右上角“创建加工数据集”。 图2 数据加工 在“创建加工数据集”页面,选择需要加工的文本类数据集,并设置数据集的名称和描述。 选择数据集时,默认选择当前空间的数据集。如果用户具备其他空间的访问权限,可以选择来自其他空间的数据集。 图3 创建加工数据集 单击“下一步”进入“算子