检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
针对使用DWR做视频转码的场景,如果需要每个对象转码任务的参数不同,可通过给对象增加对象元数据(例如:x-obs-meta-transcode-commands: base64(commands)),再使用DWR集成自定义函数的方式来实现视频转码。 具体的工作流视图如图1所示。 图1 工作流视图 资源和成本
热门案例 触发器配置不当导致“无限循环”触发工作流如何处理? 如何测试算子? 一个事件触发器可以设置多个前缀或者后缀吗? 技术专题 技术、观点、课程专题呈现 云计算小课专题 云计算知识哪家强,云上小课来开讲! 云图说合集 云图说系列,是您了解华为云的必备利器 对象存储专题 汇聚云图
在DWR服务中创建事件触发器,如图2所示。 在工作流列表中,单击工作流“piccomp”操作列的“创建事件触发器”进行触发器的创建,如图2所示。 事件源存储桶选择“piccomp”。 图2 创建事件触发器 上传文件触发工作流执行 登录OBS服务控制台,进入桶“piccomp”对象列表页面上传图片,如图3所示。
数据处理介绍 DWR如何实现数据处理 DWR提供的近数据处理能力,可以对OBS内存储的数据,按照用户编排的工作流进行自动化处理(如解析、转码、截图等)。 DWR基于函数工作流FunctionGraph的函数能力,将复杂的业务处理逻辑编排为工作流,通过事件触发器或API驱动,自动化
如何测试算子 当算子功能代码开发完毕后,可以在DWR工作流中使用自定义工作流进行测试。请参考测试算子功能。
一个事件触发器可以设置多个前缀或者后缀吗? 不可以。 不过,用户可以为该工作流创建多条事件触发器来实现支持多个前缀或者后缀,当前一个桶支持绑定10个触发器。 例如对于媒资转码工作流,用户需要对后缀mp4和mov两种格式的视频进行数据处理。用户需要为该给工作流创建两条触发器,一条用
“无限循环”触发工作流如何处理? 由于DWR只能按触发器前缀、后缀、事件源类型等条件触发工作流,所以可能存在出现“无限循环”的场景。如果出现“无限循环”,只能先删除桶的事件触发器。主要有以下两个场景: 场景1:触发器源桶和函数执行输出目标桶是同一个桶的无限循环 案例1:使用DWR内置函数触发“无限循环”
数据处理软件,通过数据处理软件完成数据处理。 传统云上处理方式:使用云上存储服务和数据处理服务,数据写入存储服务后,再调用数据处理服务接口实现数据处理。 云上近数据处理方式:使用云上存储服务和DWR的近数据处理能力,数据写入存储服务后,自动触发DWR编排的工作流完成数据处理。 表1
基本概念 工作流 工作流是DWR运行单位,其中可以包含一个或多个算子,客户可通过加入不同算子到工作流中实现高度自由化的数据处理功能。 算子 算子是DWR中的执行单位,是一个具有输入输出的完成功能模块。算子既有华为云提供的内置官方算子,也有经过华为云审核后的第三方算子。用户可以根据
什么是数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现图像、视频、文档、图片等数据处理业务。 如图1所示,DWR主要对外提供开放的算子库和数据处理引擎。 算子库包含由DWR提供的华为自有算子和第三方开发者提供的第三方算子。
当算子被华为云用户使用之后,算子发布者将会获得相应的收益,详情参见计费说明。 算子从API上线、开发、到发布的整个流程如图1所示,本节主要介绍如何使用DWR发布已开发好的算子到算子市场。 算子开发完成后,您可以参考抽帧截图(自定义算子)来验证算子。 图1 算子发布流程 约束与限制 当前发布算子功能仅支持IAM主账号。
开发指南。通过对该示例算子开发方式的说明,能够帮助算子开发者快速适应开发流程。通过本节将学到以下内容: 算子代码的入口结构 如何在算子中获得AK/SK 如何通过算子访问OBS 操作步骤 登录FunctionGraph控制台创建python函数,创建详情参见创建事件函数。 函数类型
序号 功能名称 功能描述 阶段 相关文档 1 数据工坊全新公测上线 数据工坊通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现各种灵活的数据处理业务。 公测 什么是数据工坊
您需要确保账户有足够金额。 关于DWR收费标准,请参见计费说明。 关于充值,请参见如何给华为云账户充值。 创建IAM用户 IAM用户由账号管理员创建并管理,可以确保账号及资源的安全性,有关IAM的详细介绍请参见IAM用户。此处介绍如何创建一个具有DWR访问权限的IAM用户。如果您不需要使用IAM用户,可以略过此部分内容。
第三次正式发布。 本次变更说明如下: 使用限制,新增不支持并行文件系统的限制。 2022-04-30 第二次正式发布。 本次变更说明如下: 增加IAM细粒度授权。 2022-02-14 第一次正式发布。
配置完成后,点击保存按钮输入工作流名称,点击确认,成功保存后界面会自动跳转到工作流列表界面。 图2 配置动态参数例图 配置OBS桶触发器 根据图2所示,工作流的执行时机由触发器决定,当前DWR仅支持OBS的触发器 在工作流列表中找到刚才创建的工作流,点击“创建事件触发器”,如图3所示,在弹出窗口中根据输入项名称完成触发器的配置。
当算子被华为云用户使用之后,算子发布者将会获得相应的收益,详情参见计费说明。 算子从API上线、开发、到发布的整个流程如图1所示,本节主要介绍如何使用DWR发布已开发好的算子到算子市场。 算子开发完成后,您可以参考抽帧截图(自定义算子)来验证算子。 图1 算子发布流程 约束与限制 当前发布算子功能仅支持IAM主账号。
DWR提供了REST(Representational State Transfer)风格API,支持您通过HTTP/HTTPS请求调用,在云上实现图像、视频、文档、图片等数据处理业务。 发布区域:北京四、上海一、上海二、广州、新加坡 创建工作流
工作流名称。 继承函数输入参数的graph_name。 Records 是 Array 工作流触发的事件源事件消息。 如果没有变化,则继承函数输入参数的records。 inputs 否 Map[String]String 用户可修改参数列表。 如果没有新增,则继承函数输入参数的inputs。
当前仅支持串行工作流。 图1 串联后的完整工作流 单击右上角的“保存”,填写工作流基本信息,如表1所示。 创建完成的所有同区域工作流,都将在工作流列表展示。工作流创建完成后,还需要创建事件触发器,或通过API触发,工作流才能工作。 表1 工作流基本信息 参数 说明 工作流名称 - 工作流类型