检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
启动工作流 通过事件触发器异步启动工作流 通过API异步启动工作流 通过API同步启动工作流 父主题: 数据处理
所有开发者均可以创建用于数据处理的算子,审核通过后发布至DWR算子市场,开放给所有华为云用户使用。 发布之前请按要求提供算子的基本信息、上传算子所需文件、配置算子参数。 发布区域:北京四、上海一、上海二、广州、新加坡 发布算子 OBS 2.0支持创建工作流 工作流主要是对算子进行编排,这样DWR就可以按照用户编排的算
数据处理能力通过函数生成算子集成在算子库中。 第三方算子是基于DWR的算子注册能力,由第三方开发者创建,专业人员审核发布的公共算子,您也可以将自己创建的算子发布为第三方算子,开放给所有华为云用户使用。 数据处理引擎的核心是DWR提供的工作流图形化编排能力,用户可以通过图形化的界面
当前仅支持作用于OBS桶上,用户可在触发器中定义工作流的触发方式。 异步启动工作流 调用用户的工作流,并且客户端不关注请求调用的结果,服务端收到请求后将请求排队,排队成功后请求就返回,服务端在空闲的情况下会逐个处理排队的请求。 同步启动工作流 调用用户的工作流,并且客户端请求需要
产品优势 数据处理方式对比 传统线下处理方式:硬件为用户自建IDC,软件为自研或集成商的数据处理软件,通过数据处理软件完成数据处理。 传统云上处理方式:使用云上存储服务和数据处理服务,数据写入存储服务后,再调用数据处理服务接口实现数据处理。 云上近数据处理方式:使用云上存储服务和
资源和成本 表1 资源和成本规划 资源 资源说明 数量 每月费用 OBS 算子请求OBS API。 1 通过算子对数据进行处理,都会涉及到对OBS API的调用,每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取,收取详情参见OBS请求费用说明。
资源和成本 表1 资源和成本规划 资源 资源说明 数量 每月费用 OBS 算子请求OBS API。 1 通过算子对数据进行处理,都会涉及到对OBS API的调用,每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取,收取详情参见OBS请求费用说明。
委托授权:开启后,媒体处理服务将拥有您所有桶的读写权限,子账号不支持委托权限。 桶授权:开启后,媒体处理服务仅拥有已授权桶的读写权限。 操作步骤 登录DWR控制台,在“工作流”页面单击右上角“创建工作流”,进入创建工作流界面,选择抽帧截图算子进行工作流编排。 点击右侧算子详情配置动态参数。
与其他服务的关系 DWR数据处理的数据源是华为云存储服务,DWR提供的华为云自有算子是通过函数生成,且能力源是华为云数据处理相关的云服务。因此,DWR与其他服务的关系如表1所示。 表1 DWR与其他云服务的关系 服务类别 服务名称 交互关系 存储服务 对象存储服务(Object Storage
新加坡。 使用限制 当前仅支持OBS对象桶,不支持并行文件系统。 当前仅支持创建串行的工作流。 一个事件触发器仅支持关联一个工作流,一个工作流可同时被多个事件触发器关联。 当前暂不支持创建重名工作流,即使工作流被删除后,也不能再创建与之重名的工作流。 同一桶内的触发器名称不允许重复。
修订记录 发布日期 修订记录 2023-05-06 第三次正式发布。 本次变更说明如下: 使用限制,新增不支持并行文件系统的限制。 2022-04-30 第二次正式发布。 本次变更说明如下: 增加IAM细粒度授权。 2022-02-14 第一次正式发布。
时也支持合作伙伴将自有功能包装成算子发布到DWR平台上,帮助伙伴快速搭建用户的数据处理工厂。 算子发布流程 图1 算子发布流程图 部署服务:算子提供方需要将自身服务部署在华为云,同时对外提供API,方便用户进行调用。 API上线云市场:云市场提供API调用权限的购买入口,算子提供
成长地图 | 华为云 数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现各种灵活的数据处理业务。 文档 立即体验 成长地图 由浅入深,带您玩转DWR 01 了解 了解华为云数据工坊DW
如果您需要使用一个工作流处理多种后缀的文件,可以为该工作流创建多条事件触发器来实现支持多个前缀或者后缀。 当前一个事件触发器支持设置一个前缀或者后缀,一个桶支持绑定10个触发器。 例如:对于媒资转码工作流,用户需要对后缀mp4和mov两种格式的视频进行数据处理。用户需要为该给工作流创建两个触
创建,如图2所示。 事件源存储桶选择“piccomp”。 触发器执行存在一定的延时,大概5分钟生效。 图2 创建事件触发器 上传文件触发工作流执行 登录OBS服务控制台,进入桶“piccomp”对象列表页面上传视频,如图3所示。 上传视频至piccomp桶后OBS会自动生成事件触发工作流运行,进行视频解析。
创建,如图2所示。 事件源存储桶选择“piccomp”。 触发器执行存在一定的延时,大概5分钟生效。 图2 创建事件触发器 上传文件触发工作流执行 登录OBS服务控制台,进入桶“piccomp”对象列表页面上传视频,如图3所示。 上传视频至piccomp桶后OBS会自动生成事件触发工作流运行,进行媒资转码。
API调用费、FunctionGraph函数及函数工作流费、算子费。 表1 计费项 计费项 说明 OBS API调用费 算子请求OBS API的调用费。 通过算子对数据进行处理,都会涉及到对OBS API的调用,每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行
本文介绍了数据工坊各特性版本的功能发布和对应的文档动态,欢迎体验。 序号 功能名称 功能描述 阶段 相关文档 1 数据工坊全新公测上线 数据工坊通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现各种灵活的数据处理业务。 公测 什么是数据工坊