检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
识别视频中是否包含水印。 字幕识别 识别视频中是否包含字幕。 Logo识别 识别视频中是否包含Logo。 视频黑边识别 识别视频中是否包含黑边。 密集文字识别 识别视频中是否包含密集文字,达到密集文字面积占比的视频则为含密集文字视频,一般裁剪面积占比≥7%为密集文字视频。 父主题: 数据集加工算子介绍
功落地。具体功能如下: 数据获取:用户可以轻松将多种类型的数据导入ModelArts Studio大模型开发平台,支持的数据类型包括文本、图片、视频、气象、预测数据以及用户自定义的其他类型数据。平台提供灵活的数据接入方式,确保不同业务场景下的数据获取需求得到满足。 数据加工:平台
Studio大模型开发平台支持标注操作的数据集类型如下: 文本类数据集,详见创建文本类数据集标注任务。 视频类数据集,详见创建视频类数据集标注任务。 图片类数据集,详见创建图片类数据集标注任务。 父主题: 标注数据集
标注数据集 数据集标注场景介绍 标注文本类数据集 标注视频类数据集 标注图片类数据集 父主题: 使用数据工程准备与处理数据集
数据集加工算子介绍 文本类加工算子能力清单 视频类加工算子能力清单 图片类加工算子能力清单 气象类加工算子能力清单 父主题: 加工数据集
评估数据集 数据集评估场景介绍 评估文本类数据集 评估视频类数据集 评估图片类数据集 父主题: 使用数据工程准备与处理数据集
加工数据集 数据集加工场景介绍 数据集加工算子介绍 加工文本类数据集 加工视频类数据集 加工图片类数据集 加工气象类数据集 父主题: 使用数据工程准备与处理数据集
发布数据集 数据集发布场景介绍 发布文本类数据集 发布视频类数据集 发布图片类数据集 发布气象类数据集 发布预测类数据集 发布其他类数据集 父主题: 使用数据工程准备与处理数据集
数据集格式要求 文本类数据集格式要求 视频类数据集格式要求 图片类数据集格式要求 气象类数据集格式要求 预测类数据集格式要求 其他类数据集格式要求 父主题: 使用数据工程准备与处理数据集
帮助用户快速完成数据清洗、转换和处理,减少手动操作,提高数据处理的效率。 满足业务需求:不同类型的数据需要不同的处理方式,平台根据文本、图片、视频、气象等数据类型提供专门的加工工具,满足各种复杂的业务需求。 增强模型性能:通过合适的数据加工,可以提高数据的可用性,进而提升模型的训练效果,使其具备更高的精度和鲁棒性。
用”。 您也可以鼠标单击已有应用右上角的,进行应用的复制、删除、复制ID操作。 在“创建应用”窗口中,填写应用名称与应用描述,单击左下角的图片可更换应用图标,单击“确定”,进入应用详情页面。 图1 填写应用名称与应用描述 图2 创建应用 配置Prompt builder,详见配置Prompt
文本类加工算子能力清单 算子分类 算子名称 算子描述 数据提取 WORD内容提取 从Word文档中提取文字,并保留原文档的目录、标题和正文等结构,不保留图片、表格、公式、页眉、页脚。 TXT内容提取 从TXT文件中提取所有文本内容。 CSV内容提取 从CSV文件中读取所有文本内容,并按该文件内
对数据集的标注结果进行审核。 上线标注后的数据集 对标注后的数据集执行上线操作。 评估数据集(可选) 创建数据集评估标准 创建数据集评估标准。可以评估文本通顺性、图文内容一致性、视频清晰度等。 创建数据集评估任务 创建数据集质量评估任务,并基于评估标注对数据逐一评估其质量,评估后的数据可以用于模型训练。 获取数据集评估报告
就越高。 ensemble_noise_perlin_y 用于选择集合预报的Perlin加噪y纬度方向的尺度。 输出设置 用于选择是否输出图片结果。 表2 科学计算大模型能力调测参数说明(海洋类预测) 参数 说明 场景 支持选择全球海洋要素、区域海洋要素、全球海洋生态、全球海浪高度。
起报时间间隔小时数,默认6。 forecast_lead_hours Long 预报未来小时数,默认168。 draw_figures String 是否输出结果图片,取值true/false,默认true。 forecast_features String 确定性预报的输出要素,例如“Surface:U;1000:T;800:
Long 预报未来小时数,默认168。如需预报未来30天,可将此参数设置成720。 draw_figures 否 String 是否输出结果图片,取值true/false,默认true。 forecast_features 否 String 确定性预报的输出要素,例如“Surface:U;1000:T;800:
调测评估等特点。 能力扩展:平台可以集成多种插件,插件能够有效扩展Agent的能力边界。、 内置插件:平台集成了各种类型的插件,包含搜索、图片理解等。支持开发者直接将插件添加到Agent中,丰富Agent的能力。 自定义插件:平台支持开发者创建自定义插件。支持开发者将工具、Fun
起报时间间隔小时数,默认6。 forecast_lead_hours Long 预报未来小时数,默认168。 draw_figures String 是否输出结果图片,取值true/false,默认true。 forecast_features String 确定性预报的输出要素,例如“Surface:U;1000:T;800:
forecast_lead_hours 否 Long 预报未来小时数,默认168。 draw_figures 否 String 是否输出结果图片,取值true/false,默认true。 forecast_features 否 String 确定性预报的输出要素,例如“Surface:U;1000:T;800:
平台支持发布的数据集格式为默认格式、盘古格式,可按需进行数据集格式转换。 默认格式:平台默认的格式。 盘古格式:训练盘古大模型时,需要进行数据集格式转换。当前仅文本类、图片类数据集支持转换为盘古格式。 NLP大模型开发流程 ModelArts Studio大模型开发平台提供了NLP大模型的全流程开发支持,涵盖