检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
传统线下处理方式:硬件为用户自建IDC,软件为自研或集成商的数据处理软件,通过数据处理软件完成数据处理。 传统云上处理方式:使用云上存储服务和数据处理服务,数据写入存储服务后,再调用数据处理服务接口实现数据处理。 云上近数据处理方式:使用云上存储服务和DWR的近数据处理能力,数据写
DWR平台除了提供面向使用者的平台功能,同时也支持合作伙伴将自有功能包装成算子发布到DWR平台上,帮助伙伴快速搭建用户的数据处理工厂。 算子发布流程 图1 算子发布流程图 部署服务:算子提供方需要将自身服务部署在华为云,同时对外提供API,方便用户进行调用。 API上线云市场:云市场提
媒资转码”函数,且配置“媒资转码”函数的转码输出桶为桶A。用户创建一条工作流workflowB,在工作流中使用了内置的“媒资转码”函数,且配置“媒资转码”函数的转码输出桶为桶B。然后,在桶B上配置触发器triggerA关联工作流workflowA,在桶A上配置触发器trigger
策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对DWR服务,管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。多数细粒度策略以API接口为粒度进行权限拆分。
了解更多常见问题、案例和解决方案 热门案例 触发器配置不当导致“无限循环”触发工作流如何处理? 如何测试算子? 一个事件触发器可以设置多个前缀或者后缀吗? 技术专题 技术、观点、课程专题呈现 云计算小课专题 云计算知识哪家强,云上小课来开讲! 云图说合集 云图说系列,是您了解华为云的必备利器
当算子被华为云用户使用之后,算子发布者将会获得相应的收益,详情参见计费说明。 算子从API上线、开发、到发布的整个流程如图1所示,本节主要介绍如何使用DWR发布已开发好的算子到算子市场。 算子开发完成后,您可以参考抽帧截图(自定义算子)来验证算子。 图1 算子发布流程 约束与限制
当算子被华为云用户使用之后,算子发布者将会获得相应的收益,详情参见计费说明。 算子从API上线、开发、到发布的整个流程如图1所示,本节主要介绍如何使用DWR发布已开发好的算子到算子市场。 算子开发完成后,您可以参考抽帧截图(自定义算子)来验证算子。 图1 算子发布流程 约束与限制
如何测试算子 当算子功能代码开发完毕后,可以在DWR工作流中使用自定义工作流进行测试。请参考测试算子功能。
ctionGraph开发文档。 图2 FunctionGraph编辑代码界面 测试代码 测试代码需要配置测试事件,在下拉框中选择“配置测试事件”,进入配置测试事件界面。 图3 配置测试事件 选择“创建新的测试事件”并选择“空白模板”,将原有内容替换为以下事件(json格式)内容。
函数开发规范。 DWR支持异步和同步两种方式启动工作流,其中同步方式支持直接返回数据: 通过事件触发器启动工作流(异步方式) 在OBS桶上配置事件触发器,指定工作流触发的条件,如桶内什么数据在执行某类操作后开始处理,当事件触发时异步执行满足条件的复杂任务。通常这类复杂任务处理逻辑
所有开发者均可以创建用于数据处理的算子,审核通过后发布至DWR算子市场,开放给所有华为云用户使用。 发布之前请按要求提供算子的基本信息、上传算子所需文件、配置算子参数。 发布区域:北京四、上海一、上海二、广州、新加坡 发布算子 OBS 2.0支持创建工作流 工作流主要是对算子进行编排,这样DWR
容。点击“新增动态参数”,并添加动态参数,配置结果如图2所示。 配置完成后,点击保存按钮输入工作流名称,点击确认,成功保存后界面会自动跳转到工作流列表界面。 图2 配置动态参数例图 配置OBS桶触发器 根据图2所示,工作流的执行时机由触发器决定,当前DWR仅支持OBS的触发器 在
什么是数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现图像、视频、文档、图片等数据处理业务。 如图1所示,DWR主要对外提供开放的算子库和数据处理引擎。 算子库包含由DWR提供的华为自有算子和第三方开发者提供的第三方算子。
您需要确保账户有足够金额。 关于DWR收费标准,请参见计费说明。 关于充值,请参见如何给华为云账户充值。 创建IAM用户 IAM用户由账号管理员创建并管理,可以确保账号及资源的安全性,有关IAM的详细介绍请参见IAM用户。此处介绍如何创建一个具有DWR访问权限的IAM用户。如果您不需要使用IAM用户,可以略过此部分内容。
基本概念 工作流 工作流是DWR运行单位,其中可以包含一个或多个算子,客户可通过加入不同算子到工作流中实现高度自由化的数据处理功能。 算子 算子是DWR中的执行单位,是一个具有输入输出的完成功能模块。算子既有华为云提供的内置官方算子,也有经过华为云审核后的第三方算子。用户可以根据
关联步骤1的自定义函数和“媒资转码”算子。拓扑图如图2所示。 需要关闭自定义算子和“媒资转码”算子的动态参数开关。 图2 创建工作流 配置触发器。 触发器关联到需要做转码的桶,并根据业务需要指定对象前、后缀。 填写配置信息如下: 触发器名称:“test-trans” 关联工作流:“trans-teat-meta”
在“代码依赖包”模块点击“添加依赖包”。 选择私有依赖包,添加步骤1中创建好的依赖包 依赖添加成功后,在FunctionGraph控制台添加算子代码并保存部署。参考示例如下: # -*- coding:utf-8 -*- import json # 引入模块 from obs import ObsClient
数工作流费、算子费。 表1 计费项 计费项 说明 OBS API调用费 算子请求OBS API的调用费。 通过算子对数据进行处理,都会涉及到对OBS API的调用,每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取,收取详情参见OBS请求费用说明。
与其他服务的关系 DWR数据处理的数据源是华为云存储服务,DWR提供的华为云自有算子是通过函数生成,且能力源是华为云数据处理相关的云服务。因此,DWR与其他服务的关系如表1所示。 表1 DWR与其他云服务的关系 服务类别 服务名称 交互关系 存储服务 对象存储服务(Object Storage
截图。 取值范围:[数字,ToEND]。“ToEND”表示持续到视频结束。 单位:秒 说明: “thumb_samp_duration”必须大于等0,若设置为0,则截图持续时间从“thumb_samp_start”到视频结束。 媒资转码 模板作用:执行MPC服务的转码任务对视频进