检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发布数据集 数据集发布场景介绍 发布文本类数据集 发布图片类数据集 发布视频类数据集 发布气象类数据集 发布预测类数据集 发布其他类数据集 管理发布后的数据集 父主题： 使用数据工程构建数据集
通用质量评估 针对文本进行通用质量的评估，例如流畅度、清晰度、丰富度等。 说明： 使用该清洗算子前，请确保有已部署的NLP大模型，具体步骤详见创建NLP大模型部署任务。 父主题： 数据集清洗算子介绍
盘古大模型服务的配额限制详见表2。 表2 配额限制 资源类型 默认配额限制 是否支持调整 模型实例 ModelArts Studio平台上，单个用户最多可创建和管理2000个模型实例。 是 如果希望申请提升配额，请联系客服。 功能限制 盘古大模型服务的功能限制详见表3。 表3 功能限制 功能类型 使用限制
表2 盘古预测大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 导入数据至盘古平台 发布预测类数据集 流通预测类数据集 数据流通是将单个数据集发布为特定格式的“发布数据集”，用于后续模型训练等操作。
图1 数据集构建流程图 表1 数据集构建流程表 流程 子流程 说明 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 加工数据集 清洗数据集 通过专用的清洗算子对数据进行预处理，确保数据符合模型训练的标准和业务需求。不同类型的数
表3 盘古NLP大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 导入数据至盘古平台 加工文本类数据集 清洗文本类数据集 通过专用的清洗算子对数据进行预处理，确保数据符合模型训
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
