检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对于需要对大量图片文件进行压缩,快速发布上线的场景,可以使用DWR可视化的质量变换工作流来完成任务,帮助用户提升图片处理效率,节省内容发布时间。 实现流程 该实例通过创建触发器的方式异步启动工作流,实现流程为: 在OBS服务中创建桶 在DWR服务中创建工作流 在DWR服务中创建事件触发器 在OBS服务中上传文件触发工作流执行
更多内容可参考FunctionGraph开发文档。 图2 FunctionGraph编辑代码界面 测试代码 测试代码需要配置测试事件,在下拉框中选择“配置测试事件”,进入配置测试事件界面。 图3 配置测试事件 选择“创建新的测试事件”并选择“空白模板”,将原有内容替换为以下事件(json格式)内容。
例如:x-obs-meta-transcode-commands: base64(commands)),再使用DWR集成自定义函数的方式来实现视频转码。 具体的工作流视图如图1所示。 图1 工作流视图 资源和成本 表1 资源和成本规划 资源 资源说明 数量 每月费用 OBS 算子请求OBS
您首先需要在FunctionGraph导入自定义算子需要的函数依赖包。然后需要在FunctionGraph创建自定义抽帧截图函数。之后需要在DWR工作流编排界面完成配置动态参数,创建同步工作流。最后触发工作流进行验证。 图1 操作流程 父主题: 抽帧截图(自定义算子)
一个事件触发器可以设置多个前缀或者后缀吗? 如果您需要使用一个工作流处理多种后缀的文件,可以为该工作流创建多条事件触发器来实现支持多个前缀或者后缀。 当前一个事件触发器支持设置一个前缀或者后缀,一个桶支持绑定10个触发器。 例如:对于媒资转码工作流,用户需要对后缀mp4和mov两
在少数场景下,用户对单个对象或者一类对象进行的复杂操作是有区别的,这就要求用户通过API调用方式来实现单个对象粒度的复杂任务处理,可以指定某个对象立即执行某个特定的工作流。 图1 数据处理工作流 优势 简单易用:通过控制台的图形化界面,轻松按需搭建数据处理流程。 功能强大:支持华为云各种数据处理服务的工作流处理能力。
容。点击“新增动态参数”,并添加动态参数,配置结果如图2所示。 配置完成后,点击保存按钮输入工作流名称,点击确认,成功保存后界面会自动跳转到工作流列表界面。 图2 配置动态参数例图 配置OBS桶触发器 根据图2所示,工作流的执行时机由触发器决定,当前DWR仅支持OBS的触发器 在
什么是数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现图像、视频、文档、图片等数据处理业务。 如图1所示,DWR主要对外提供开放的算子库和数据处理引擎。 算子库包含由DWR提供的华为自有算子和第三方开发者提供的第三方算子。
数据处理软件,通过数据处理软件完成数据处理。 传统云上处理方式:使用云上存储服务和数据处理服务,数据写入存储服务后,再调用数据处理服务接口实现数据处理。 云上近数据处理方式:使用云上存储服务和DWR的近数据处理能力,数据写入存储服务后,自动触发DWR编排的工作流完成数据处理。 表1
值} 对应的参数名请点击工作流详情后查看: 触发工作流: 注意:当参数名有下划线时,需将下划线转成%5F 直接在DWR工作流界面修改 进入DWR工作流界面并点击进入工作流详情 点击修改对参数进行修改 修改thumb_samp_dots为[11],thumb_samp_maxlen为500,点击确定。
基本概念 工作流 工作流是DWR运行单位,其中可以包含一个或多个算子,客户可通过加入不同算子到工作流中实现高度自由化的数据处理功能。 算子 算子是DWR中的执行单位,是一个具有输入输出的完成功能模块。算子既有华为云提供的内置官方算子,也有经过华为云审核后的第三方算子。用户可以根据
发布算子 当完成算子开发、算子在工作流中的测试后,即可在DWR上将算子发布到算子市场。 操作步骤 在DWR控制台的“发布算子”页面,单击界面右上角的“发布公共算子”。 配置算子基本信息。 表1 配置基本信息 参数 说明 算子名称 不能与本用户已有的算子重名。 算子提供方 - 算子描述
"tasks": tasks } return event 函数保存成功后,进入到数工坊DWR控制台工作流界面,点击“创建工作流”。 在工作流编排界面选择自定义算子并完成连线。其中基本属性部分的函数唯一标识选择步骤4创建好的自定义函数。 加入动态参数f(截图秒数fra
登录管理控制台。在左侧导航栏上方,单击,选择“存储 > 数据工坊DWR”。 进入DWR页面。 在左侧导航栏选中“发布算子”,进入“发布算子”页面。 单击界面右上角的“发布公共算子”。 配置算子基本信息。 表1 配置基本信息 参数 说明 算子名称 不能与本用户已有的算子重名。 算子提供方 - 算子描述
序号 功能名称 功能描述 阶段 相关文档 1 数据工坊全新公测上线 数据工坊通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现各种灵活的数据处理业务。 公测 什么是数据工坊
工作流主要是对算子进行编排,这样DWR就可以按照用户编排的算子顺序对OBS中的数据进行自动化处理(如视频解析、图片转码、视频截图等)。 工作流编排采用图形化界面,方便用户直观便捷的构建数据处理流程,同时提供了预置的算子和自定义函数能力,覆盖数据处理的各种场景。 发布区域:北京四、上海一、上海二、广州、新加坡
“存储 > 数据工坊DWR”。 进入DWR页面。 在左侧导航栏选中“工作流”,进入“工作流”页面。第一次进入时需要进行“统一授权”。 单击界面右上角的“创建工作流”,进入“工作流编排”页面。 将左侧预置的模板或自定义的函数拖拽至编排区域,同时在右侧属性面板配置基本属性和动态参数,
如果您已有一个华为账号,请跳到下一个任务。如果您还没有华为账号,请参考以下步骤创建。 根据提示信息完成注册。 注册成功后,系统会自动跳转至您的个人信息界面。 关于注册华为账号并开通华为云,请参见注册华为账号并开通华为云。 请参考实名认证完成个人或企业账号实名认证。 为账户充值 您需要确保账户有足够金额。
调试,可有效降低发布后的故障率,测试结果也是算子发布时的重要审核项。 发布算子等待审核:算子提供方完成步骤4中的测试后,进入到DWR控制台界面,根据提示信息提供必要的资料提交审核。 本次实践将重点描述步骤3、4、5完成算子的开发、测试、发布。 算子执行原理 图2 算子执行原理 动
数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现各种灵活的数据处理业务。 文档 立即体验 成长地图 由浅入深,带您玩转DWR 01 了解 了解华为云数据工坊DWR产品优势、应用场景、基本