检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
中配置的参数。这也是算子提供方获取用户配置参数的主要方式,后文将对该参数进行更加详细的介绍。bucketname以及object的值根据测试需要,点击函数测试参数配置。 obsclient形参中的server参数为OBS的endpoint,详情参见地区和终端节点。 不同的regi
产品优势 数据处理方式对比 传统线下处理方式:硬件为用户自建IDC,软件为自研或集成商的数据处理软件,通过数据处理软件完成数据处理。 传统云上处理方式:使用云上存储服务和数据处理服务,数据写入存储服务后,再调用数据处理服务接口实现数据处理。 云上近数据处理方式:使用云上存储服务和
测试算子:算子提供方在发布前可通过自定义算子方式完成DWR的alpha调试,可有效降低发布后的故障率,测试结果也是算子发布时的重要审核项。 发布算子等待审核:算子提供方完成步骤4中的测试后,进入到DWR控制台界面,根据提示信息提供必要的资料提交审核。 本次实践将重点描述步骤3、4、5完成算子的开发、测试、发布。
针对使用DWR做视频转码的场景,如果需要每个对象转码任务的参数不同,可通过给对象增加对象元数据(例如:x-obs-meta-transcode-commands: base64(commands)),再使用DWR集成自定义函数的方式来实现视频转码。 具体的工作流视图如图1所示。 图1
用户在自行开发自定义函数时,函数的输入参数和输出参数需要遵守本节的开发规范。 自定义函数的编译方式请参考FunctionGraph的《开发指南》。 函数输入参数 工作流执行自定义函数时,函数输入参数的JSON格式的结构体和环境变量的定义如下: 表1 函数输入的JSON格式体 名称 是否必选
其中委托需要创建能够授权工作流FunctionGraph访问OBS的权限,创建方式参考创建委托。 函数创建成功后进入函数详情页添加依赖包。 在“代码依赖包”模块点击“添加依赖包”。 选择私有依赖包,添加步骤1中创建好的依赖包 依赖添加成功后,在FunctionGraph控制台添加算子代码并保存部署。参考示例如下:
DWR自定义策略 如果系统预置的DWR权限,不满足您的授权要求,可以创建自定义策略。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。 JSON视图创建自定义策略:可
执行MPC服务的预置转码模板“DASH_H.265_4K_低码_1入9出”,将片源转为4K、2K、1080等码率的视频。该模板实际调用的是MPC服务的新建转码任务接口。 约束与限制 媒资转码算子不支持同步返回,如您配置了同步工作流执行媒资转码算子,则会采用异步方式执行,且返回值会格式异常。
示例:图片质量变换 场景介绍 对于需要对大量图片文件进行压缩,快速发布上线的场景,可以使用DWR可视化的质量变换工作流来完成任务,帮助用户提升图片处理效率,节省内容发布时间。 实现流程 该实例通过创建触发器的方式异步启动工作流,实现流程为: 在OBS服务中创建桶 在DWR服务中创建工作流
用户直观便捷的构建数据处理流程,同时提供了预置的算子和自定义函数能力,覆盖数据处理的各种场景。预置算子的详细介绍,请参见官方算子一览。用户在自行开发自定义函数时,函数的输入参数和输出参数需要遵守自定义函数开发规范。 DWR支持异步和同步两种方式启动工作流,其中同步方式支持直接返回数据:
时需要进行“统一授权”。 单击界面右上角的“创建工作流”,进入“工作流编排”页面。 将左侧预置的模板或自定义的函数拖拽至编排区域,同时在右侧属性面板配置基本属性和动态参数,配置完成后图标将由白色填充变为蓝色填充。 各预置模板及自定义函数的参数配置说明,请参见官方算子一览。 使用视
算子市场 算子市场即DWR提供的算子库,提供方包括华为和第三方。 华为算子的能力源是华为云数据处理相关的云服务,如媒体处理MPC、图像识别Image等,DWR将云服务提供的各种数据处理能力通过函数生成算子并在算子市场发布。 第三方算子是基于DWR的算子注册能力,由第三方开发者创建
算子已开发完成,开发规范参考自定义函数开发规范,建议使用Go、Python开发(算子的冷启动效果更好)。 算子已在华为云云商店上架,上架指导参考发布API类商品操作指导。 开发的新算子如果要支持同步工作流,需要保证同步工作流最后一个算子返回方式为以下的一种: 返回方式1:字符串数据 { "execution
当需要使用DWR服务对OBS内存储的数据自动进行多项复杂任务(如解析、转码、截图等)处理时,建议参考表1逐步操作。 表1 DWR使用流程简介 操作步骤 操作说明 步骤一:准备工作 注册华为云账号,并开通数据工坊DWR服务。 (可选)步骤二:浏览算子市场 在算子市场查找需要的算子,了解已有算子的功能。 步骤三:创建工作流
按照指定时间点截图并输出最长边尺寸为480的棘突,参数修改如下: bucket: 抽帧截图结果输出的桶名,如图所示填为test-workflow-sh1 output: 抽帧截图结果在输出桶下的输出路径如图中所示输出图片的路径为桶tes-workflow-sh1的output目录 tar: 抽帧截图图片是否需要压缩,
于OBS桶上,用户可在触发器中定义工作流的触发方式。 异步启动工作流 调用用户的工作流,并且客户端不关注请求调用的结果,服务端收到请求后将请求排队,排队成功后请求就返回,服务端在空闲的情况下会逐个处理排队的请求。 同步启动工作流 调用用户的工作流,并且客户端请求需要明确等到响应结
从0到1,带您快速上手数据工坊DWR的使用方式。 准备 准备工作 数据处理 入门流程 示例:使用DWR压缩图片 算子管理 发布算子 04 实践 您可以通过使用DWR的数据处理功能解决实际业务场景中的诸多问题。 最佳实践 创建视频转码工作流 发布下载OBS对象的算子 抽帧截图(官方算子) 抽帧截图(自定义算子)
不允许删除DWR的权限,控制他们对DWR资源的使用范围。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户进行权限管理,您可以跳过本章节,不影响您使用DWR服务的其它功能。 IAM是华为云提供权限管理的基础服务,无需付费即可使用,您只需要为您账号中的资源进行付费。关于
lfit:指定一个w和h的矩形,将图片进行等比缩放,取在矩形内最大的图片。 mfit:指定一个w和h的矩形,将图片进行等比缩放,取在矩形延伸区域的最小图片。 fill:指定一个w和h的矩形,将图片进行等比缩放,取在延伸区域的最小图片,并进行居中剪切。即将mfit缩略类型的图片进行居中剪裁。