检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上传视频至piccomp桶后OBS会自动生成事件触发工作流运行,进行视频解析。 图3 上传视频 查看视频解析结果 解析后的视频参数存放在piccomp-output桶的output文件夹中,如图4所示。原视频的元数据信息如图5所示。 图4 解析后结果文件 图5 视频解析结果内容 (可选)查看运行记录 在DWR控
创建工作流 操作场景 工作流主要是对算子进行编排,这样DWR就可以按照用户编排的工作流对OBS中的数据进行自动化处理(如视频解析、图片转码、视频截图等)。 操作步骤 登录管理控制台。在左侧导航栏上方,单击,选择“存储 > 数据工坊DWR”。 进入DWR页面。 在左侧导航栏选中“工
入门流程 当需要使用DWR服务对OBS内存储的数据自动进行多项复杂任务(如解析、转码、截图等)处理时,建议参考表1逐步操作。 表1 DWR使用流程简介 操作步骤 操作说明 步骤一:准备工作 注册华为云账号,并开通数据工坊DWR服务。 (可选)步骤二:浏览算子市场 在算子市场查找需要的算子,了解已有算子的功能。
数据处理介绍 DWR如何实现数据处理 DWR提供的近数据处理能力,可以对OBS内存储的数据,按照用户编排的工作流进行自动化处理(如解析、转码、截图等)。 DWR基于函数工作流FunctionGraph的函数能力,将复杂的业务处理逻辑编排为工作流,通过事件触发器或API驱动,自动化
权限管理 与其他服务的关系 基本概念 03 使用 通过DWR提供的近数据处理能力,您可以对OBS内存储的数据按照编排的工作流进行自动化处理(如解析、转码、截图等)。 算子管理 算子市场 发布算子 华为算子一览 数据处理 数据处理简介 创建工作流 创建事件触发器 相关参考 自定义函数开发规范
过FunctionGraph封装而成。 数据处理服务 媒体处理(Media Processing Center,MPC) DWR提供的视频解析、抽帧截图、媒资转码等算子,依赖MPC提供的相应能力。 图像识别(Image Recognition) DWR提供的图像标签算子,依赖Image
cy”开头的委托。 使用媒体处理MPC的相关能力时(如视频解析、抽帧截图、媒资转码等),需要先在MPC中开启桶授权。授权方法请参见获取云资源授权。 需要为以下桶开启桶授权: 抽帧截图输出桶 媒资转码输出桶 使用了视频解析、抽帧截图或媒资转码的工作流所关联的事件触发器对应的事件源存储桶
发工作流执行。详细介绍参见了解更多无限循环原因。 OBS对DWR工作流进行授权。以使得DWR可以对OBS内的存储数据,按照您指定的顺序(如解析/转码/审核等)自动化处理。 进入“媒资转码“算子工作流 打开控制台,在“服务搜索“框内搜索“DWR/数据工坊“并选择加载建议信息 选择“媒资转码“算子
"Error" # base64反解析 command = base64.b64decode(command_base64) print("command :{}".format(command)) # 解析转码命令 command_map =
发布算子 OBS 2.0支持创建工作流 工作流主要是对算子进行编排,这样DWR就可以按照用户编排的算子顺序对OBS中的数据进行自动化处理(如视频解析、图片转码、视频截图等)。 工作流编排采用图形化界面,方便用户直观便捷的构建数据处理流程,同时提供了预置的算子和自定义函数能力,覆盖数据处理的各种场景。
场景下支持的能力 视频 视频解析、媒资转码、抽帧截图、添加水印、转封装、审核等 图片 缩略、添加水印、转封装、文字审核、图像审核、人脸识别等 文档 解压、预览等 基因 文件个数统计、模糊搜索、压缩、容量监控通知等 医疗 数据从存储网关到OBS、AI分析、影像筛查等 监控 视频截帧、图片
示例:图片质量变换 场景介绍 对于需要对大量图片文件进行压缩,快速发布上线的场景,可以使用DWR可视化的质量变换工作流来完成任务,帮助用户提升图片处理效率,节省内容发布时间。 实现流程 该实例通过创建触发器的方式异步启动工作流,实现流程为: 在OBS服务中创建桶 在DWR服务中创建工作流
language 中文:返回标签的语言类型为中文。 英文:返回标签的语言类型为英文。 视频解析 模板作用:用于新建视频解析任务,以解析视频元数据。该模板实际调用的是MPC服务的新建视频解析任务接口。 表17 视频解析属性配置说明 属性类别 参数名称 参数说明 基本属性 名称 任务的名称,修改后将体现在工作流编排区域。
函数的输出参数,可用于传递给下一个执行的函数。 - operation_name 否 String 函数操作名。 系统内置的工作流函数操作名有: 视频解析:MPC.Metadata 视频截图:MPC.Thumbnail 视频转码:MPC.Transcode SMN消息通知:SMN.Publish
产品优势 数据处理方式对比 传统线下处理方式:硬件为用户自建IDC,软件为自研或集成商的数据处理软件,通过数据处理软件完成数据处理。 传统云上处理方式:使用云上存储服务和数据处理服务,数据写入存储服务后,再调用数据处理服务接口实现数据处理。 云上近数据处理方式:使用云上存储服务和
使用限制 区域限制 当前支持使用的区域为:北京四、上海一、上海二、广州、新加坡。 使用限制 当前仅支持OBS对象桶,不支持并行文件系统。 当前仅支持创建串行的工作流。 一个事件触发器仅支持关联一个工作流,一个工作流可同时被多个事件触发器关联。 当前暂不支持创建重名工作流,即使工作
基本概念 工作流 工作流是DWR运行单位,其中可以包含一个或多个算子,客户可通过加入不同算子到工作流中实现高度自由化的数据处理功能。 算子 算子是DWR中的执行单位,是一个具有输入输出的完成功能模块。算子既有华为云提供的内置官方算子,也有经过华为云审核后的第三方算子。用户可以根据
案例概述 场景介绍 DWR平台除了提供面向使用者的平台功能,同时也支持合作伙伴将自有功能包装成算子发布到DWR平台上,帮助伙伴快速搭建用户的数据处理工厂。 算子发布流程 图1 算子发布流程图 部署服务:算子提供方需要将自身服务部署在华为云,同时对外提供API,方便用户进行调用。
什么是数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现图像、视频、文档、图片等数据处理业务。 如图1所示,DWR主要对外提供开放的算子库和数据处理引擎。 算子库包含由DWR提供的华为
发布算子 操作场景 所有开发者均可以创建用于数据处理的算子,审核通过后发布至DWR算子市场,开放给所有华为云用户使用。 当算子被华为云用户使用之后,算子发布者将会获得相应的收益,详情参见计费说明。 算子从API上线、开发、到发布的整个流程如图1所示,本节主要介绍如何使用DWR发布已开发好的算子到算子市场。