检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
} ], "temperature": 0.9, "max_tokens": 600 } 父主题： 大模型使用类问题
加工图片类数据集 清洗图片类数据集 标注图片类数据集 父主题： 加工数据集
发布图片类数据集 评估图片类数据集 配比图片类数据集 流通图片类数据集 父主题： 发布数据集
发布预测类数据集 预测类数据集当前仅支持发布为“默认格式”，操作步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”，单击界面右上角“创建流通任务”。 在“创建流通任务”页面，选择数据集模态，如“预测
如果需要彻底删除数据集，可单击数据集名称进入详情页，确认数据集内容后彻底删除该数据集。 删除原始数据集属于高危操作，删除前，请确保该数据集不再使用。 父主题： 加工数据集
发布气象类数据集 气象类数据集当前仅支持发布为“默认格式”，操作步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”，单击界面右上角“创建流通任务”。 在“创建流通任务”页面，选择数据集模态，如“气象
其他类数据集格式要求 除文本、图片、视频、气象、预测类数据集外，平台还支持导入其他类数据集，即用户训练模型时使用的自定义数据集。 其他类数据集支持发布其他类数据集操作，不支持数据加工操作。 父主题： 数据集格式要求
文对数据将被过滤。 图文去重 基于结构化图片去重 判断相同文本对应不同的图片数据是否超过阈值，如果超过则去重。 图片去重 通过把图片结构化处理后，过滤重复的图片/图文对数据。 数据打标 图片鉴黄评分 对图片的涉黄程度进行评分，分数越高越危险。默认评分不小于50分的视频可视为涉黄视频。
发布其他类数据集 其他类数据集当前仅支持发布为“默认格式”，操作步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”，单击界面右上角“创建流通任务”。 在“创建流通任务”页面，选择数据集模态，如“其他
在数据导入过程中，平台仅支持通过OBS服务导入文件夹类型的数据，而不支持直接导入单个文件。 您需要将文件整理到文件夹中，并选择该文件夹进行上传。 父主题： 大模型使用类问题
如果需要彻底删除数据集，可单击数据集名称进入详情页，确认数据集内容后彻底删除该数据集。 删除原始数据集属于高危操作，删除前，请确保该数据集不再使用。 父主题： 发布数据集
过1GB，所有文本大小最大不超过200GB，目录下文件数量不超过5000个。 预训练文本 jsonl jsonl格式：text表示预训练所使用的文本数据，具体格式示例如下： {"text":"盘古大模型，是华为推出盘古系列AI大模型，包括NLP大模型、多模态大模型、CV大模型、科学计算大模型、预测大模型。"}
预测类数据集格式要求 平台支持创建预测类数据集，创建时可导入时序数据、回归分类数据。 时序数据：时序预测数据是一种按时间顺序排列的数据序列，用于预测未来事件或趋势，过去的数据会影响未来的预测。 回归分类数据：回归分类数据包含多种预测因子（特征），用于预测连续变量的值，与时序数据不
视频类数据集格式要求 ModelArts Studio大模型开发平台支持创建视频类数据集，创建时可导入多种形式的数据，具体格式要求详见表1。 表1 视频类数据集格式要求 文件内容 文件格式 文件要求 视频 mp4或avi 支持mp4、avi视频格式上传，所有视频可以放在多个文件夹
Studio大模型开发平台针对视频类数据集预设了一套基础评估标准，涵盖了视频的清晰度、帧率、完整性、标签准确性等多个质量维度，用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准，可跳过此章节至创建视频类数据集评估任务。 创建视频类数据集评估标准步骤如下： 登录ModelArts
Studio大模型开发平台针对文本类数据集预设了一套基础评估标准，涵盖了数据准确性、完整性、一致性、格式规范等多个维度，用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准，可跳过此章节至创建文本类数据集评估任务。 创建文本类数据集评估标准步骤如下： 登录ModelArts
图片类数据集格式要求 ModelArts Studio大模型开发平台支持创建图片类数据集，创建时可导入多种形式的数据，具体格式要求详见表1。 表1 图片类数据集格式要求 文件内容 文件格式 文件要求 仅图片 tar、图片目录 图片：支持jpg、jpeg、png、bmp类型，单张图
工模板”进行使用。 若选择使用加工模板，将删除当前已编排的清洗步骤。 图2 选择加工模板 清洗步骤编排完成后，单击右下角“启动清洗”，将启动清洗任务。 当数据清洗任务运行成功后，状态将从“运行中”变为“运行成功”，表示数据已经完成清洗。 在完成数据清洗后，如果无需使用数据合成与数
平台支持发布不同格式的数据集。 当前支持默认格式、盘古格式： 默认格式：数据工程功能支持的原始格式。 盘古格式：使用盘古大模型训练时所需要使用的数据格式。 如果使用该数据集训练盘古大模型，请将选择格式配置为盘古格式。 填写数据集名称、描述，设置数据集“资产可见性”，设置扩展信息后，单击“确定”执行数据集流通操作。
算子编排 在编排过程中，可单击右上角“保存为新模板”将当前编排流程保存为模板。后续创建新的数据清洗任务时，可直接单击“选择加工模板”进行使用。 若选择使用加工模板，将删除当前已编排的清洗步骤。 图2 选择加工模板 清洗步骤编排完成后，单击右下角“启动清洗”，将启动清洗任务。 当数据清洗
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
