检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
视频裁剪 裁剪视频中字幕/Logo/水印/黑框等无用信息,生成新视频。 视频元数据过滤 基于视频元数据进行过滤,包括帧率、分辨率和视频时长。注:电影标准帧率为24或30FPS。 宽高比过滤 根据视频的宽高比进行过滤。 数据打标 视频鉴黄评分 对视频的涉黄程度进行评分,分数越高越危险。评分范围(0
width 是 图像的宽度,以像素为单位。 date_captured 否 图像捕获的日期和时间。 flickr_url 否 图像在Flickr网站上的URL。 id 是 图像的唯一标识符。 annotations 是 标注信息。 num_keypoints 是 标注的关键点数量。 area
文档 txt、mobi、epub、docx、pdf 单个文件大小不超过5GB,文件数量最多100个,所有文件大小不超过500GB。 网页 html 单个文件大小不超过5GB,文件数量最多100个,所有文件大小不超过500GB。 预训练文本 jsonl jsonl格式:text表示预
要求。 表1 平台支持的数据类型 数据类型 数据内容 支持的文件格式 文本类 文档 txt、mobi、epub、docx、pdf 网页 html 预训练文本 jsonl 单轮问答 jsonl、csv 单轮问答(人设) jsonl、csv 多轮问答 jsonl 多轮问答(人设) jsonl
格式数据。 PDF内容提取 从PDF中提取内容转换为结构化数据。 JSON内容提取 提取JSON文件中的键值对信息。 HTML内容提取 基于标签路径提取HTML数据内容,并将其他与待提取标签路径无关的内容删除。 电子书内容提取 从电子书中提取出所有文本内容。 智能文档解析 从PD
据保护技术说明:https://support.huaweicloud.com/productdesc-obs/obs_03_0375.html 父主题: 安全
微调数据来源: 需要针对涉及的模块分别构造相关的微调数据。 query改写模块 来源:互联网开源数据集 问答模块 来源一:互联网开源数据集,如政府网站网页、政府在线问答公开数据、政务百科等。 来源二:特定的私域数据,针对于具体场景和项目需求,收集相关的文本数据。比如通过与当地政府的政数局