检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集清洗算子介绍 文本类清洗算子能力清单 视频类清洗算子能力清单 图片类清洗算子能力清单 气象类清洗算子能力清单 父主题: 加工数据集
”、“盘古格式”,以满足不同训练任务的需求。通过这些格式的转换,用户可以确保数据与特定模型(如盘古大模型)兼容,并优化训练效果。 提高训练效率 发布符合标准的数据集可以大幅提升数据处理效率,减少后续调整工作,帮助用户快速进入模型训练阶段。 数据集发布是数据工程中的关键环节,通过科
发布文本类数据集 评估文本类数据集 配比文本类数据集 流通文本类数据集 父主题: 发布数据集
发布视频类数据集 评估视频类数据集 流通视频类数据集 父主题: 发布数据集
加工文本类数据集 清洗文本类数据集 合成文本类数据集 标注文本类数据集 父主题: 加工数据集
模型训练过程中出现了非预期的异常情况,需查看日志定位训练异常原因。 训练异常 模型训练过程中出现了非预期的异常情况,需查看日志定位训练异常原因。 已停止 模型训练已被用户手动停止。 查看训练指标 对于训练状态为“已完成”的任务,单击任务名称,可在“训练结果”页面查看训练指标,模型的训练指标介绍请参见图1。 图1
上进一步训练,使模型能够更有效地应对具体的任务需求。在微调过程中,通过设定训练指标来监控模型的表现,确保其达到预期的效果。完成微调后,将对用户模型进行评估并进行最终优化,以确保满足业务需求,然后将其部署和调用,用于实际应用。 预测大模型选择建议 选择合适的预测大模型类型有助于提升
通过平台提供的自动化加工功能,用户可以高效完成大规模数据的预处理工作,减少人工干预,提升数据处理的一致性和效率,确保整个数据工程流程的顺畅运行。 总体而言,数据加工不仅提升了数据处理的效率,还可通过优化数据质量和针对性处理,支持高效的模型训练。通过数据加工,用户能够快速构建高质量的数据集,推动大模型的成功开发。
发布图片类数据集 评估图片类数据集 配比图片类数据集 流通图片类数据集 父主题: 发布数据集
加工图片类数据集 清洗图片类数据集 标注图片类数据集 父主题: 加工数据集
气象类数据集格式要求 ModelArts Studio大模型开发平台支持导入气象类数据集,该数据集当前包括海洋气象数据。 海洋气象数据通常来源于气象再分析。气象再分析是通过现代气象模型和数据同化技术,重新处理历史观测数据,生成高质量的气象记录。这些数据既可以覆盖全球范围,也可以针
预测类数据集格式要求 平台支持创建预测类数据集,创建时可导入时序数据、回归分类数据。 时序数据:时序预测数据是一种按时间顺序排列的数据序列,用于预测未来事件或趋势,过去的数据会影响未来的预测。 回归分类数据:回归分类数据包含多种预测因子(特征),用于预测连续变量的值,与时序数据不
CV大模型训练常见报错与解决方案 CV大模型训练常见报错及解决方案请详见表1。 表1 CV大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时,数据集列表为空。 创建训练任务时,数据集选择框中显示为空,无可用的训练数据集。 数据集未发布。 请提前创
图片类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。 平台提供了图文类、图片类清洗算子,算子能力清单见表1。 表1 图片类清洗算子能力清单 算子分类
大模型概念类问题 如何对盘古大模型的安全性展开评估和防护 训练智能客服系统大模型需考虑哪些方面
大模型微调训练类问题 无监督领域知识数据量无法支持增量预训练,如何进行模型学习 如何调整训练参数,使盘古大模型效果最优 如何判断盘古大模型训练状态是否正常 如何评估微调后的盘古大模型是否正常 如何调整推理参数,使盘古大模型效果最优 为什么微调后的盘古大模型总是重复相同的回答 为什么微调后的盘古大模型的回答中会出现乱码
提示词工程类 如何利用提示词提高大模型在难度较高推理任务中的准确率 如何让大模型按指定风格或格式回复 如何分析大模型输出错误回答的根因 为什么其他大模型适用的提示词在盘古大模型上效果不佳 如何判断任务场景应通过调整提示词还是场景微调解决
计费FAQ 包年/包月和按需计费模式有什么区别 包年/包月和按需计费模式哪个更划算 同一资源是否同时支持包年/包月和按需计费两种模式 包年/包月和按需计费模式是否支持互相切换 资源到期了如何续费
提示词应用示例 应用提示词实现智能客服系统的意图匹配 应用提示词生成面试题目 父主题: 提示词写作实践
使用前必读 概述 调用说明 请求URI 基本概念