检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
触发器名称:“test-trans” 关联工作流:“trans-teat-meta” 事件源存储桶:“dataplus-test” 事件源类型:“ObjectCreated” 前缀:“perfix” 后缀:“suffix” 上传对象。 上传对象时带上自定义对象元数据,具体代码如下:
人脸识别服务FRS 圆角剪切 是 对象存储服务OBS 普通裁剪 是 对象存储服务OBS 索引剪切 是 对象存储服务OBS 图片水印 是 对象存储服务OBS 文字水印 是 对象存储服务OBS 缩略图 是 对象存储服务OBS 内切圆裁剪 是 对象存储服务OBS 自适应旋转 是 对象存储服务OBS 基础旋转
"sequencer": "1",//确定某个特定对象事件顺序的标识 "size": "524298",//对象的大小 "versionId": "G001017DE60E176D0000401106696610null"//对象的版本ID }
API调用费 算子请求OBS API的调用费。 通过算子对数据进行处理,都会涉及到对OBS API的调用,每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取,收取详情参见OBS请求费用说明。 FunctionGraph函数及函数工作流费 算子
媒资转码后结果文件 图5 媒资转码工作流运行记录 (可选)查看运行记录 在DWR控制台左侧导航栏选择“工作流”,进入“工作流”页面 在工作流列表中,单击工作流“MediaTranscode”操作列的“运行记录”可以查看函数流的执行记录。详细介绍参见函数流执行历史管理。
有算子是通过函数生成,且能力源是华为云数据处理相关的云服务。因此,DWR与其他服务的关系如表1所示。 表1 DWR与其他云服务的关系 服务类别 服务名称 交互关系 存储服务 对象存储服务(Object Storage Service,OBS) OBS作为DWR数据处理的数据源,当
Aug 2020 12:38:10 GMT body(stream body/json body) 表1 请求参数说明 参数 是否必选 参数类型 描述 x-workflow-graph-name 是 字符串 工作流名称和运行参数,比如:x-workflow-graph-name=gramname/p1_v1
发布算子 当完成算子开发、算子在工作流中的测试后,即可在DWR上将算子发布到算子市场。 操作步骤 在DWR控制台的“发布算子”页面,单击界面右上角的“发布公共算子”。 配置算子基本信息。 表1 配置基本信息 参数 说明 算子名称 不能与本用户已有的算子重名。 算子提供方 - 算子描述
建数据处理流程。 功能强大:支持华为云各种数据处理服务的工作流处理能力。 容错性好:通过内置错误重试能力,自动重试失败或超时的任务,对不同类型错误做出不同响应。同时提供工作流异常或失败后的恢复接口,从失败的位置继续执行工作流。 权限说明 请参见权限管理。 约束与限制 请参见使用限制。
每月费用 OBS 算子请求OBS API。 1 通过算子对数据进行处理,都会涉及到对OBS API的调用,每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取,收取详情参见OBS请求费用说明。 FunctionGraph函数 算子使用FunctionGraph函数工作流。
如何在算子中获得AK/SK 如何通过算子访问OBS 操作步骤 登录FunctionGraph控制台创建python函数,创建详情参见创建事件函数。 函数类型选择“事件函数”,该类型函数可以被事件触发,在DWR的使用过程中为OBS的事件,例如上传对象事件,下载对象事件等。 代码上传方式选择“默认代码”。创建
测试算子功能 当算子功能代码开发完毕后,可以在DWR工作流中使用或进行上线前的测试。本节主要介绍如何使用DWR的自定义工作流来测试算子的功能。 测试算子功能 登录DWR控制台, 在工作流页面点击“创建工作流”进入工作流编排界面。 将左侧“自定义”算子拖拽至编排区域。 鼠标单击各流
Copy:使用Copy方法复制对象。 CompleteMultipartUpload:表示合并分段任务。 ObjectRemoved:表示删除对象。 Delete:指定对象版本号删除对象。 DeleteMarkerCreated:不指定对象版本号删除对象。 多个事件源类型可以作用于同一个目标对象,例如:
操作流程 您首先需要在FunctionGraph导入自定义算子需要的函数依赖包。然后需要在FunctionGraph创建自定义抽帧截图函数。之后需要在DWR工作流编排界面完成配置动态参数,创建同步工作流。最后触发工作流进行验证。 图1 操作流程 父主题: 抽帧截图(自定义算子)
功能总览 功能总览 全部 算子市场 发布算子 创建工作流 启动工作流 API 算子市场 算子市场即DWR提供的算子库,提供方包括华为和第三方。 华为算子的能力源是华为云数据处理相关的云服务,如媒体处理MPC、图像识别Image等,DWR将云服务提供的各种数据处理能力通过函数生成算子并在算子市场发布。
需要对视频抽帧截图时,在不编写额外代码的情况下使用抽帧截图算子对视频进行指定时间点截帧。 约束与限制 该抽帧截图算子目前暂不支持中文对象。 方案架构 1. 用户使用对象域名向OBS发送请求 2. DWR收到请求同步执行位于FunctionGraph的视频截图抽帧算子实例,调用MPC服务 3
录 tar: 抽帧截图图片是否需要压缩, 选择否 sync: 是否同步处理图片,目前只有按照时间点截图支持同步 type: 抽帧截图的采样类型,选择按照时间点截图 format:输出截图格式,目前只支持jpg格式 max_length: 截图最长边的尺寸,填入480 width:输出截图的宽度,填入0
展示。工作流创建完成后,还需要创建事件触发器,或通过API触发,工作流才能工作。 表1 工作流基本信息 参数 说明 工作流名称 - 工作流类型 DWR支持同步和异步两种数据处理方式 匿名 对同步工作流设置是否可匿名访问 同步工作流支持异步启动。 支持同步工作流的自营算子参见官方算子一览。
实施步骤 前提条件 创建依赖包。 登录FunctionGraph控制台,在依赖包管理页面点击“创建依赖包”。 填写相关参数,完成依赖包创建。 在“函数列表”页面单击“创建函数”完成函数创建。 其中委托需要创建能够授权工作流FunctionGraph访问OBS的权限,创建方式参考创建委托。
“无限循环”触发工作流如何处理? 由于DWR只能按触发器前缀、后缀、事件源类型等条件触发工作流,所以可能存在出现“无限循环”的场景。如果出现“无限循环”,只能先删除桶的事件触发器。主要有以下两个场景: 场景1:触发器源桶和函数执行输出目标桶是同一个桶的无限循环 案例1:使用DWR内置函数触发“无限循环”