检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
条件),则转码的输出会再次触发工作流,从而导致用户工作流不停的执行,出现“无限循环”。 图1 工作流配置workflowA 图2 工作流触发器triggerA配置 案例2:自定义函数触发“无限循环” 用户创建一条工作流workflowA,在工作流种使用了自定义函数,且自定义函数会
通过事件触发器异步启动工作流 操作场景 创建工作流之后,可以通过创建事件触发器来为工作流设置执行条件,指定桶内什么数据在执行某类操作后开始执行工作流。 前提条件 已完成工作流创建。 约束与限制 一个桶支持绑定10个事件触发器。 操作步骤 登录管理控制台。在左侧导航栏上方,单击,选择“存储
简单易用:通过控制台的图形化界面,轻松按需搭建数据处理流程。 功能强大:支持华为云各种数据处理服务的工作流处理能力。 容错性好:通过内置错误重试能力,自动重试失败或超时的任务,对不同类型错误做出不同响应。同时提供工作流异常或失败后的恢复接口,从失败的位置继续执行工作流。 权限说明 请参见权限管理。
一个事件触发器可以设置多个前缀或者后缀吗? 不可以。 不过,用户可以为该工作流创建多条事件触发器来实现支持多个前缀或者后缀,当前一个桶支持绑定10个触发器。 例如对于媒资转码工作流,用户需要对后缀mp4和mov两种格式的视频进行数据处理。用户需要为该给工作流创建两条触发器,一条用于触发mp4格式的数据处理,一条用于触发mov格式的数据处理。
传统线下处理方式:硬件为用户自建IDC,软件为自研或集成商的数据处理软件,通过数据处理软件完成数据处理。 传统云上处理方式:使用云上存储服务和数据处理服务,数据写入存储服务后,再调用数据处理服务接口实现数据处理。 云上近数据处理方式:使用云上存储服务和DWR的近数据处理能力,数据写入存储服务后,自动触发DWR编排的工作流完成数据处理。
当前仅支持OBS对象桶,不支持并行文件系统。 当前仅支持创建串行的工作流。 一个事件触发器仅支持关联一个工作流,一个工作流可同时被多个事件触发器关联。 当前暂不支持创建重名工作流,即使工作流被删除后,也不能再创建与之重名的工作流。 同一桶内的触发器名称不允许重复。 工作流及工作流中使用的FunctionGraph、
DWR平台除了提供面向使用者的平台功能,同时也支持合作伙伴将自有功能包装成算子发布到DWR平台上,帮助伙伴快速搭建用户的数据处理工厂。 算子发布流程 图1 算子发布流程图 部署服务:算子提供方需要将自身服务部署在华为云,同时对外提供API,方便用户进行调用。 API上线云市场:云市场提供API调用权限的
图4 压缩图片 (可选)查看运行记录 在DWR控制台左侧导航栏选择“工作流”,进入“工作流”页面 在工作流列表中,单击工作流“piccomp”操作列的“运行记录”可以查看函数流的执行记录。详细介绍参见函数流执行历史管理。 图5 查看运行记录 父主题: 处理数据
查询工作流实例详情 √ √ 查询工作流详情 √ √ 查询华为云系统算子 √ √ 查询公共算子 √ √ 查询用户第三方算子 √ √ 查询第三方算子服务协议是否同意 √ √ 获取DWR工作流是否开通授权 √ √ 更新工作流参数 √ x 更新用户第三方算子 √ x 恢复的工作流实例 √
自己的需求挑选算子加入工作流中,从而快速构建特有的数据处理功能。 触发器 每个工作流需要绑定一个触发器用于触发执行工作流,该触发器当前仅支持作用于OBS桶上,用户可在触发器中定义工作流的触发方式。 异步启动工作流 调用用户的工作流,并且客户端不关注请求调用的结果,服务端收到请求后
坡 创建工作流 OBS 2.0支持启动工作流 DWR支持异步和同步两种方式启动工作流。 通过事件触发器启动工作流为异步方式。 通过API启动工作流同步和异步都支持。 发布区域:北京四、上海一、上海二、广州、新加坡 通过事件触发器异步启动工作流 通过API异步启动工作流 通过API同步启动工作流
技术、观点、课程专题呈现 云计算小课专题 云计算知识哪家强,云上小课来开讲! 云图说合集 云图说系列,是您了解华为云的必备利器 对象存储专题 汇聚云图说、视频、最佳实践,带您玩转华为云OBS 智能客服 您好!我是有问必答知识渊博的的智能问答机器人,有问题欢迎随时求助哦! 社区求助 华为云社区是华为
操作说明 步骤一:准备工作 注册华为云账号,并开通数据工坊DWR服务。 (可选)步骤二:浏览算子市场 在算子市场查找需要的算子,了解已有算子的功能。 步骤三:创建工作流 创建工作流对算子进行编排。 步骤四:启动工作流 当前DWR支持同步和异步两种方式启动工作流。 创建事件触发器异步启动 使用API同步启动
(可选)查看运行记录 在DWR控制台左侧导航栏选择“工作流”,进入“工作流”页面 在工作流列表中,单击工作流“MediaTranscode”操作列的“运行记录”可以查看函数流的执行记录。详细介绍参见函数流执行历史管理。
可以将自己创建的算子发布为第三方算子,开放给所有华为云用户使用。 数据处理引擎的核心是DWR提供的工作流图形化编排能力,用户可以通过图形化的界面,将任意算子编排到工作流中。通过事件触发器或API驱动,DWR将根据您定义的工作流自动进行数据处理。 图1 DWR架构示意图
视频解析结果内容 (可选)查看运行记录 在DWR控制台左侧导航栏选择“工作流”,进入“工作流”页面 在工作流列表中,单击工作流“MediaMetadata”操作列的“运行记录”可以查看函数流的执行记录。详细介绍参见函数流执行历史管理。
与其他服务的关系 DWR数据处理的数据源是华为云存储服务,DWR提供的华为云自有算子是通过函数生成,且能力源是华为云数据处理相关的云服务。因此,DWR与其他服务的关系如表1所示。 表1 DWR与其他云服务的关系 服务类别 服务名称 交互关系 存储服务 对象存储服务(Object Storage
配置完成后,点击保存按钮输入工作流名称,点击确认,成功保存后界面会自动跳转到工作流列表界面。 图2 配置动态参数例图 配置OBS桶触发器 根据图2所示,工作流的执行时机由触发器决定,当前DWR仅支持OBS的触发器 在工作流列表中找到刚才创建的工作流,点击“创建事件触发器”,如图3
启动工作流 通过事件触发器异步启动工作流 通过API异步启动工作流 通过API同步启动工作流 父主题: 数据处理
FunctionGraph函数 算子使用FunctionGraph函数工作流。 1 通过算子对数据进行处理,会使用到函数工作流的资源,比如算子执行时长,函数工作流会根据资源使用情况进行收费,收费详情参见函数工作流计费说明。 视频转码 新建转码任务可以将视频进行转码,并在转码过程中压制