检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在完成数据加工后，如果无需使用数据标注功能，可直接在“加工任务”页面单击操作列“生成”，生成加工数据集。 加工后的数据集可在“数据工程 > 数据管理 > 数据集 > 加工数据集”中查看。 父主题： 加工视频类数据集
气象类数据集格式要求 ModelArts Studio大模型开发平台支持导入气象类数据集，该数据集当前包括海洋气象数据。 海洋气象数据通常来源于气象再分析。气象再分析是通过现代气象模型和数据同化技术，重新处理历史观测数据，生成高质量的气象记录。这些数据既可以覆盖全球范围，也可以针
优化训练数据的质量 在数据科学和机器学习领域，数据的质量和多样性对模型的效果至关重要。通过有效的数据预处理和数据优化方法，通过提升训练数据的质量可以显著提升训练所得模型的效果。以下是一些关键的数据优化方法及其具体过程： 数据加工 错误数据过滤 ：在大规模数据集中，噪声和错误数据是不可
配比文本类数据集 数据配比是将多个数据集按照特定比例关系组合并发布为“发布数据集”的过程，确保数据的多样性、平衡性和代表性。 如果单个数据集已满足您的需求，可跳过此章节至发布文本类数据集。 创建文本类数据集配比任务 创建文本类数据集配比任务步骤如下： 登录ModelArts St
频类数据集仅支持发布标准格式。 填写数据集名称、描述，设置扩展信息后，单击“确定”执行数据集发布操作。 当任务状态显示为“运行成功”时，说明数据发布任务执行成功，生成的“发布数据集”可在“数据工程 > 数据管理 > 数据集 > 发布数据集”中查看。 父主题： 发布视频类数据集
在“创建发布任务”页面，选择数据集模态，如“预测 > 时序”类型的数据集。 图1 选择数据集模态 选择数据集，单击“下一步”。 在“基本配置”中选择数据用途、数据集可见性、适用场景。当前预测类数据集仅支持发布标准格式。 填写数据集名称、描述，设置扩展信息后，单击“确定”执行数据集发布操作。 当任务
在完成数据加工后，如果无需使用数据标注、数据合成功能，可直接在“加工任务”页面单击操作列“生成”，生成加工数据集。 加工后的数据集可在“数据工程 > 数据管理 > 数据集 > 加工数据集”中查看。 父主题： 加工文本类数据集
在完成数据加工后，在“加工任务”页面单击操作列“生成”，生成加工数据集。 加工后的数据集可在“数据工程 > 数据管理 > 数据集 > 加工数据集”中查看。 父主题： 加工数据集
AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。经过认证的请求总是需要包含一个签名值，该签名值以请求者的访问密钥（AK/SK）作为加密因子，结合请求体携带的特定信息计算而成。通过访问密钥（AK/SK）认证方式进行认证鉴权，即使用Access Key ID（AK）/Secret
上传文件限xlsx格式。 数据行数不小于10行，不大于50行。 数据不允许相同表头，表头数量小于20个。 数据单条文本长度不超过1000。 创建数据集时会对相关限制条件进行校验。 数据参考格式如下： 图1 数据参考格式 图2 数据示例 创建提示词评估数据集 登录ModelArts
数据集格式要求 文本类数据集格式要求 图片类数据集格式要求 视频类数据集格式要求 气象类数据集格式要求 预测类数据集格式要求 其他类数据集格式要求 父主题： 使用数据工程构建数据集
根据具体任务需求，灵活选择数据发布格式，保证数据的兼容性与一致性，从而为后续模型训练和应用部署打下坚实基础。 支持数据发布的数据集类型 支持数据发布的数据集类型见表1。 表1 支持数据发布的数据集类型 数据类型 数据评估 数据发布 文本类 √ √ 图片类 √ √ 视频类 √ √ 气象类
务成功的提示。 在完成数据标注后，如果无需进行标注审核，可直接在“标注任务 > 任务管理”页签单击“生成”，生成加工数据集。 生成的加工数据集可在“数据工程 > 数据管理 > 数据集 > 加工数据集”中查看。 审核标注后的文本类数据集 如果在创建文本类数据集标注任务时启用了标注审
在“创建发布任务”页面，选择数据集模态，如“气象 > 气象数据”类型的数据集。 图1 选择数据集模态 选择数据集，单击“下一步”。 在“基本配置”中选择数据用途、数据集可见性、适用场景。当前气象类数据集仅支持发布标准格式。 填写数据集名称、描述，设置扩展信息后，单击“确定”执行数据集发布操作。 当
在左侧导航栏中选择“数据工程 > 数据发布 > 发布任务”，单击界面右上角“创建发布任务”。 在“创建发布任务”页面，选择数据集模态，如“文本 > 预训练文本”类型的数据集。 图1 选择数据集模态 选择数据集，单击“下一步”。 在“基本配置”中选择数据用途、数据集可见性、适用场景。
jpg”，那么标注文件的文件名应为“IMG_2.xml” 图片支持jpg、jpeg、png、bmp格式，标注文件为xml格式，标注文件说明请参见物体检测数据集标注文件说明。 单个文件大小不超过50GB，文件数量最多1000个。 图像分类 图片+txt 由图片文件和对应的标注文件构成，要求
在完成数据标注后，如果无需进行标注审核，可直接在“数据标注 > 任务管理”页面单击“生成”，生成加工数据集。 生成的加工数据集可在“数据工程 > 数据管理 > 数据集 > 加工数据集”中查看。 审核标注后的视频类数据集 如果在创建视频类数据集标注任务时启用了标注审核功能，则在完成标注后
加工视频类数据集 加工视频类数据集 标注视频类数据集 父主题： 加工数据集
加工文本类数据集 加工文本类数据集 合成文本类数据集 标注文本类数据集 配比文本类数据集 父主题： 加工数据集
发布文本类数据集 评估文本类数据集 发布文本类数据集 父主题： 发布数据集
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
