检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
传统线下处理方式:硬件为用户自建IDC,软件为自研或集成商的数据处理软件,通过数据处理软件完成数据处理。 传统云上处理方式:使用云上存储服务和数据处理服务,数据写入存储服务后,再调用数据处理服务接口实现数据处理。 云上近数据处理方式:使用云上存储服务和DWR的近数据处理能力,数据写入存储服务后,自动触发DWR编排的工作流完成数据处理。
不存在、请求太频繁、函数不可用、函数异常 动态参数 sync 视频解析处理模式。 排队处理:查询后仅返回任务ID,还需进一步调用查询视频解析任务接口才能获取到视频元数据。 同步处理:查询后将直接返回视频元数据。 bucket 视频解析输出桶,用于保存解析后的视频。 输出桶需要和D
flowB,在工作流中使用了内置的“媒资转码”函数,且配置“媒资转码”函数的转码输出桶为桶B。然后,在桶B上配置触发器triggerA关联工作流workflowA,在桶A上配置触发器triggerB关联工作流workflowB。如果,triggerA触发workflowA生成的对
使用限制 区域限制 当前支持使用的区域为:北京四、上海一、上海二、广州、新加坡。 使用限制 当前仅支持OBS对象桶,不支持并行文件系统。 当前仅支持创建串行的工作流。 一个事件触发器仅支持关联一个工作流,一个工作流可同时被多个事件触发器关联。 当前暂不支持创建重名工作流,即使工作
√ √ 查询工作流详情 √ √ 查询华为云系统算子 √ √ 查询公共算子 √ √ 查询用户第三方算子 √ √ 查询第三方算子服务协议是否同意 √ √ 获取DWR工作流是否开通授权 √ √ 更新工作流参数 √ x 更新用户第三方算子 √ x 恢复的工作流实例 √ x DWR工作流开通授权
义函数开发规范。 DWR支持异步和同步两种方式启动工作流,其中同步方式支持直接返回数据: 通过事件触发器启动工作流(异步方式) 在OBS桶上配置事件触发器,指定工作流触发的条件,如桶内什么数据在执行某类操作后开始处理,当事件触发时异步执行满足条件的复杂任务。通常这类复杂任务处理逻
触发器执行存在一定的延时,大概5分钟生效。 图3 上传文件 查看图片压缩效果 压缩后的图片存放在piccomp-output桶的output文件夹中。如图4所示,图片大小均有变小,实现了对图片的压缩。 图4 压缩图片 (可选)查看运行记录 在DWR控制台左侧导航栏选择“工作流”,进入“工作流”页面
作流运行,进行视频解析。 图3 上传视频 查看视频解析结果 解析后的视频参数存放在piccomp-output桶的output文件夹中,如图4所示。原视频的元数据信息如图5所示。 图4 解析后结果文件 图5 视频解析结果内容 (可选)查看运行记录 在DWR控制台左侧导航栏选择“工作流”,进入“工作流”页面
进行媒资转码。 图3 上传视频 查看媒资转码结果 转码后的视频存放在piccomp-output桶的output文件夹中,如图4所示。媒资转码工作流运行记录信息如图5所示。 图4 媒资转码后结果文件 图5 媒资转码工作流运行记录 (可选)查看运行记录 在DWR控制台左侧导航栏选择“工作流”,进入“工作流”页面
(可选)步骤二:浏览算子市场 在算子市场查找需要的算子,了解已有算子的功能。 步骤三:创建工作流 创建工作流对算子进行编排。 步骤四:启动工作流 当前DWR支持同步和异步两种方式启动工作流。 创建事件触发器异步启动 使用API同步启动 使用API异步启动 步骤五:查看运行记录 查看历史运行记录,了解工作流的执行情况。
//是否压缩抽帧图片生成tar包。 Tar: 0, //是否同步处理,同步处理是指不下载全部文件,快速定位到截图位置进行截图。 Mode: 0, //截图参数 ThumbnailParam: &ThumbnailParam{
配置算子基本信息。 表1 配置基本信息 参数 说明 算子名称 不能与本用户已有的算子重名。 算子提供方 - 算子描述 - API链接 填写华为云云市场已上架的算子链接。 算子分类 根据算子市场上提供的分类进行选择。 算子logo 支持主流图片格式 图1 算子基本信息 配置算子参数。 Inputs参数:
在事件源存储桶中创建一个目录testdir 并上传.png结尾的文件至testdir目录下。 回到DWR工作流列表界面,点击“运行记录”查看工作流执行结果。 图4 查看工作流运行结果 输出值与测试算子的输出结果相同,表示算子已经完成测试,具备发布条件。具备发布条更重要的是动态参数的存在让用户拥有了与算子交互的接口。
前提条件 算子已开发完成,开发规范参考自定义函数开发规范,建议使用Go、Python开发(算子的冷启动效果更好)。 算子已在华为云云市场上架,上架指导参考发布API类商品操作指导。 操作步骤 登录管理控制台。在左侧导航栏上方,单击,选择“存储 > 数据工坊DWR”。 进入DWR页面。
行收费,收费详情参见函数工作流计费说明。 抽帧截图算子 使用抽帧截图算子快速构建视频抽帧截图应用。 1 由媒体处理服务MPC进行收费,详情查看计费说明。 父主题: 抽帧截图(官方算子)
前提条件 算子已开发完成,开发规范参考自定义函数开发规范,建议使用Go、Python开发(算子的冷启动效果更好)。 算子已在华为云云商店上架,上架指导参考发布API类商品操作指导。 开发的新算子如果要支持同步工作流,需要保证同步工作流最后一个算子返回方式为以下的一种: 返回方式1:字符串数据
自营算子由算子云服务提供方决定收费标准。例如使用人脸识别算子,该算子由人脸识别服务FRS提供,会根据人脸识别接口调用次数进行收费。 查询算子的云服务提供方参见表华为算子一览,各个云服务的计费规则请查看该服务的“计费说明”章节。
数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现各种灵活的数据处理业务。 文档 立即体验 成长地图 由浅入深,带您玩转DWR 01 了解 了解华为云数据工坊DWR产品优势、应用场景、基
子加入工作流中,从而快速构建特有的数据处理功能。 触发器 每个工作流需要绑定一个触发器用于触发执行工作流,该触发器当前仅支持作用于OBS桶上,用户可在触发器中定义工作流的触发方式。 异步启动工作流 调用用户的工作流,并且客户端不关注请求调用的结果,服务端收到请求后将请求排队,排队
什么是数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现图像、视频、文档、图片等数据处理业务。 如图1所示,DWR主要对外提供开放的算子库和数据处理引擎。 算子库包含由DWR提供的华为自有算子和第三方开发者提供的第三方算子。