检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
处理数据 入门流程 示例:图片质量变换
成长地图 | 华为云 数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现各种灵活的数据处理业务。 文档 立即体验 成长地图 由浅入深,带您玩转DWR 01 了解 了解华为云数据工坊DWR产
数据处理介绍 DWR如何实现数据处理 DWR提供的近数据处理能力,可以对OBS内存储的数据,按照用户编排的工作流进行自动化处理(如解析、转码、截图等)。 DWR基于函数工作流FunctionGraph的函数能力,将复杂的业务处理逻辑编排为工作流,通过事件触发器或API驱动,自动化
Service,OBS) OBS作为DWR数据处理的数据源,当上传至OBS或存储在OBS的数据产生的事件满足触发器规则时,DWR将自动启动关联的工作流进行数据处理。 函数服务 函数工作流(FunctionGraph) DWR中由华为云提供的自有算子均是利用数据处理服务的API,通过FunctionGraph封装而成。
算子市场 算子市场即DWR提供的算子库,提供方包括华为和第三方。 华为算子的能力源是华为云数据处理相关的云服务,如媒体处理MPC、图像识别Image等,DWR将云服务提供的各种数据处理能力通过函数生成算子并在算子市场发布。 第三方算子是基于DWR的算子注册能力,由第三方开发者创建
什么是数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现图像、视频、文档、图片等数据处理业务。 如图1所示,DWR主要对外提供开放的算子库和数据处理引擎。 算子库包含由DWR提供的华为自有算子和第三方开发者提供的第三方算子。
p1对应的值为v1,p2对应的值为v2。 注意: 当参数名和值中包含下划线时,需将下划线转义为“%5F”。 如:工作流名称为test-workflow,参数名p1为thumb_samp_maxlen,p1的值v1为500,参数名p2为thumb_samp_dots,p2的值v2为11,则请求为:<对象url>
数据处理 数据处理介绍 创建工作流 启动工作流
图解数据工坊服务
API上线云市场:云市场提供API调用权限的购买入口,算子提供方将步骤1中开放的API注册到云市场中即可获取便捷的收费管理,上线指导参见API上线云市场。 开发算子:DWR的算子执行依赖FunctionGraph服务提供执行引擎,算子提供方在发布算子前需按照函数开发规范开发算子。 测试算子:算子提供方在发布前可通
发布下载OBS对象的算子 案例概述 开发算子代码 测试算子功能 发布算子
通过API异步启动工作流 DWR支持通过API异步启动已有工作流,详情参见API异步启动工作流。 父主题: 启动工作流
事件触发器的名称,用户自定义。同一桶内的触发器名称不允许重复。 关联工作流 满足该事件触发器条件时,自动执行的工作流。 事件源存储桶 事件发生的源桶,即事件在该桶中发生时,触发关联工作流。 该参数不支持修改,默认为创建事件触发器的桶。 事件源类型 使事件触发器生效的事件源类型。目前,OBS支持以下事件源类型:
子,客户可通过加入不同算子到工作流中实现高度自由化的数据处理功能。 算子 算子是DWR中的执行单位,是一个具有输入输出的完成功能模块。算子既有华为云提供的内置官方算子,也有经过华为云审核后的第三方算子。用户可以根据自己的需求挑选算子加入工作流中,从而快速构建特有的数据处理功能。 触发器
能,可以帮助您安全的控制华为云资源的访问。 通过IAM,您可以在华为云账号中给员工创建IAM用户,并授权控制他们对华为云资源的访问范围。例如您的员工中有负责软件开发的人员,您希望他们拥有DWR的使用权限,但是不希望他们拥有删除DWR等高危操作的权限,那么您可以使用IAM为开发人员
算子市场介绍 算子市场即为DWR提供的算子库,提供方包括华为和第三方。 华为云自有算子的能力源是华为云数据处理相关的云服务,如媒体处理MPC、图像识别Image等,DWR将云服务提供的各种数据处理能力通过函数生成算子并在算子市场发布。 第三方算子是基于DWR的算子注册能力,由第三方开发者
产品优势 数据处理方式对比 传统线下处理方式:硬件为用户自建IDC,软件为自研或集成商的数据处理软件,通过数据处理软件完成数据处理。 传统云上处理方式:使用云上存储服务和数据处理服务,数据写入存储服务后,再调用数据处理服务接口实现数据处理。 云上近数据处理方式:使用云上存储服务和
发布算子 当完成算子开发、算子在工作流中的测试后,即可在DWR上将算子发布到算子市场。 操作步骤 在DWR控制台的“发布算子”页面,单击界面右上角的“发布公共算子”。 配置算子基本信息。 表1 配置基本信息 参数 说明 算子名称 不能与本用户已有的算子重名。 算子提供方 - 算子描述
所有开发者均可以创建用于数据处理的算子,审核通过后发布至DWR算子市场,开放给所有华为云用户使用。 当算子被华为云用户使用之后,算子发布者将会获得相应的收益,详情参见计费说明。 算子从API上线、开发、到发布的整个流程如图1所示,本节主要介绍如何使用DWR发布已开发好的算子到算子市场。
所有开发者均可以创建用于数据处理的算子,审核通过后发布至DWR算子市场,开放给所有华为云用户使用。 当算子被华为云用户使用之后,算子发布者将会获得相应的收益,详情参见计费说明。 算子从API上线、开发、到发布的整个流程如图1所示,本节主要介绍如何使用DWR发布已开发好的算子到算子市场。