检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集中盐度（S）变量在下载过程中，如图1、图2，存在数据块缺失与数据块偏移的问题，将导致训练过程中盐度损失异常，波动大且不收敛，如图3。 模型训练前，未对数据进行加工。 模型训练前，需要对数据进行加工，防止某些特征存在极端异常值或大面积错误数据，导致模型训练不稳定。
数据集中盐度（S）变量在下载过程中，如图1、图2，存在数据块缺失与数据块偏移的问题，将导致训练过程中盐度损失异常，波动大且不收敛，如图3。 模型训练前，未对数据进行加工。 模型训练前，需要对微调数据进行加工，防止某些特征存在极端异常值或大面积错误数据，导致模型训练不稳定。
数据资产：数据资产是指用户在平台上发布的所有数据集。这些数据集会被存储在数据资产中，用户可以随时查看数据集的详细信息，如数据格式、大小、配比比例等，同时平台会自动记录每个数据集的操作历史，例如创建、发布及上线等过程。
数据工程工具链作为盘古大模型服务的重要组成部分，具备数据获取、清洗、数据合成、数据标注、数据评估、数据配比、数据发布和管理等功能。 该工具链能够高效收集和处理各种格式的数据，满足不同训练和评测任务的需求。
表1 NLP大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时，数据集列表为空。 创建训练任务时，数据集选择框中显示为空，无可用的训练数据集。 数据集未发布。 请提前创建与大模型对应的训练数据集，并完成数据集发布操作。
表1 科学计算大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时，数据集列表为空 创建训练任务时，数据集选择框中显示为空，无可用的训练数据集。 数据集未发布。 请提前创建与大模型对应的训练数据集，并完成数据集发布操作。
Token计算器可以帮助用户在模型推理前评估文本的Token数量，提供费用预估，并优化数据预处理策略。
与其他服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务（Object Storage Service，简称OBS）存储数据和模型，实现安全、高可靠和低成本的存储需求。
data Array of ObsStorageDto objects 输入数据的OBS信息。 表4 ObsStorageDto 参数 参数类型 描述 bucket String 输入数据的OBS桶名称。 path String 初始场数据的存放路径。
接口的响应体需要按照jsonpath语法要求进行填写，jsonpath语法的作用是从响应体的json字段中提取出所需的数据。 评测配置 评测类型 选择“自动评测”。 评测规则 选择“基于规则”。 评测数据集 评测模板：使用预置的专业数据集进行评测。
单击操作列的“编辑”，可以修改模型的checkpoints、训练参数、训练数据以及基本信息等。 克隆。单击操作列的“更多 > 克隆”，参照创建NLP大模型训练任务填写参数，可以复制当前训练任务。 停止。
如果保留期结束后仍未续订或充值，数据将被删除且无法恢复。
图4 异常的Loss曲线：平缓且保持高位 Loss曲线异常抖动：Loss曲线异常抖动的原因可能是由于训练数据质量差，比如数据存在噪声或者分布不均衡，导致训练过程不稳定。你可以尝试提升数据质量的方式来解决。 图5 异常的Loss曲线：异常抖动 父主题： 大模型微调训练类
开发盘古科学计算大模型 使用数据工程构建科学计算大模型数据集 训练科学计算大模型 部署科学计算大模型 调用科学计算大模型
表1 计费模式表 计费类别 计费项 计费模式 计费量纲 付费方式 计费周期 模型服务 模型订阅服务 包周期计费 套 预付费，按照订单的购买周期结算 1个月~1年 数据服务 数据智算服务 按需计费 智算单元 后付费，根据服务实际消耗量计费 按实际任务时长，时长精确到秒。
data Array of ObsStorageDto objects 输入数据的OBS信息。 表4 ObsStorageDto 参数 参数类型 描述 bucket String 输入数据的OBS桶名称。 path String 初始场数据的存放路径。
开发盘古NLP大模型 使用数据工程构建NLP大模型数据集 训练NLP大模型 压缩NLP大模型 部署NLP大模型 评测NLP大模型 调用NLP大模型
数据量和质量均满足要求，为什么盘古大模型微调效果不好
单击操作列的“编辑”，可以修改模型的训练参数、训练数据以及基本信息等。 克隆。单击操作列的“更多 > 克隆”，参照创建科学计算大模型训练任务填写参数，可以复制当前训练任务。 停止。单击操作列的“更多 > 停止”，可以停止处于“排队中”或“运行中”状态的任务。 重试。
用户开通云审计服务并创建、配置追踪器后，CTS可记录用户使用盘古的管理事件和数据事件用于审计。 CTS的详细介绍和开通配置方法，请参见CTS快速入门。 父主题： 安全
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
