检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
案例概述 场景介绍 DWR平台除了提供面向使用者的平台功能,同时也支持合作伙伴将自有功能包装成算子发布到DWR平台上,帮助伙伴快速搭建用户的数据处理工厂。 算子发布流程 图1 算子发布流程图 部署服务:算子提供方需要将自身服务部署在华为云,同时对外提供API,方便用户进行调用。
对象粒度的复杂任务处理,可以指定某个对象立即执行某个特定的工作流。 图1 数据处理工作流 优势 简单易用:通过控制台的图形化界面,轻松按需搭建数据处理流程。 功能强大:支持华为云各种数据处理服务的工作流处理能力。 容错性好:通过内置错误重试能力,自动重试失败或超时的任务,对不同类
业务流程复杂,复杂度高 图形化编排工具,一站式运维平台,复杂度低 DWR的优势 高效:数据处理时间缩短60% 近数据计算:调用算子提供商设定好的云服务器API来执行算子,函数化调用,路径短。 易用:开发运维效率提升50%+ 图形化编排:拖拉式智能模块化操作,免代码。 一站式运维:可视化统一运维平台,降低管理难度。
在工作流列表中,单击工作流“MediaTranscode”操作列的“创建事件触发器”进行触发器的创建,如图2所示。 事件源存储桶选择“piccomp”。 触发器执行存在一定的延时,大概5分钟生效。 图2 创建事件触发器 上传文件触发工作流执行 登录OBS服务控制台,进入桶“piccomp”对象列表页面上传视频,如图3所示。
于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对DWR服务,管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。多数细粒度策略以API接口为粒度进行权限拆分。 如表1所示,包括了DWR的所有系统权限。 表1 DWR系统权限 系统角色/策略名称
OutputFilenames: []string{"out_file1", "out_file2", "out_file3", "out_file4", "out_file5", "out_file6"}, }, }, } // 以下参数需要继承传递,方便工作流下游函数获取对应参数值
说明: 当前缀和后缀都不配置时,事件触发器将作用于桶中所有对象。 后缀 使事件触发器生效的对象后缀。 说明: 文件夹是以“/”结尾的,“/”前的字符为文件夹名称。若要对文件夹进行后缀匹配,后缀必须以“/”结尾。 当前缀和后缀都不配置时,事件触发器将作用于桶中所有对象。 单击“确定”,完成事件触发器创建。
示例:图片质量变换 场景介绍 对于需要对大量图片文件进行压缩,快速发布上线的场景,可以使用DWR可视化的质量变换工作流来完成任务,帮助用户提升图片处理效率,节省内容发布时间。 实现流程 该实例通过创建触发器的方式异步启动工作流,实现流程为: 在OBS服务中创建桶 在DWR服务中创建工作流
圆角剪切 是 对象存储服务OBS 普通裁剪 是 对象存储服务OBS 索引剪切 是 对象存储服务OBS 图片水印 是 对象存储服务OBS 文字水印 是 对象存储服务OBS 缩略图 是 对象存储服务OBS 内切圆裁剪 是 对象存储服务OBS 自适应旋转 是 对象存储服务OBS 基础旋转
所有开发者均可以创建用于数据处理的算子,审核通过后发布至DWR算子市场,开放给所有华为云用户使用。 发布之前请按要求提供算子的基本信息、上传算子所需文件、配置算子参数。 发布区域:北京四、上海一、上海二、广州、新加坡 发布算子 OBS 2.0支持创建工作流 工作流主要是对算子进行编排,这样
每月费用 OBS 算子请求OBS API。 1 通过算子对数据进行处理,都会涉及到对OBS API的调用,每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取,收取详情参见OBS请求费用说明。 FunctionGraph函数 算子使用FunctionGraph函数工作流。
API调用费 算子请求OBS API的调用费。 通过算子对数据进行处理,都会涉及到对OBS API的调用,每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取,收取详情参见OBS请求费用说明。 FunctionGraph函数及函数工作流费 算子使用
视频解析 场景介绍 解析视频的元数据信息,包括:视频时长、视频格式、码率等。用于视频播放时获取时长,分辨率展示 等等。 流程一览 操作步骤 在OBS服务中创建桶 在OBS服务控制台创建两个桶,一个用于上传待处理的数据对象,一个用于存储处理后的数据对象。桶的详细介绍参见创建桶。 数据输入桶:“piccomp”
使用限制 区域限制 当前支持使用的区域为:北京四、上海一、上海二、广州、新加坡。 使用限制 当前仅支持OBS对象桶,不支持并行文件系统。 当前仅支持创建串行的工作流。 一个事件触发器仅支持关联一个工作流,一个工作流可同时被多个事件触发器关联。 当前暂不支持创建重名工作流,即使工作
基本概念 工作流 工作流是DWR运行单位,其中可以包含一个或多个算子,客户可通过加入不同算子到工作流中实现高度自由化的数据处理功能。 算子 算子是DWR中的执行单位,是一个具有输入输出的完成功能模块。算子既有华为云提供的内置官方算子,也有经过华为云审核后的第三方算子。用户可以根据
成长地图 | 华为云 数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现各种灵活的数据处理业务。 文档 立即体验 成长地图 由浅入深,带您玩转DWR 01 了解 了解华为云数据工坊DW
与其他服务的关系 DWR数据处理的数据源是华为云存储服务,DWR提供的华为云自有算子是通过函数生成,且能力源是华为云数据处理相关的云服务。因此,DWR与其他服务的关系如表1所示。 表1 DWR与其他云服务的关系 服务类别 服务名称 交互关系 存储服务 对象存储服务(Object Storage
入门流程 当需要使用DWR服务对OBS内存储的数据自动进行多项复杂任务(如解析、转码、截图等)处理时,建议参考表1逐步操作。 表1 DWR使用流程简介 操作步骤 操作说明 步骤一:准备工作 注册华为云账号,并开通数据工坊DWR服务。 (可选)步骤二:浏览算子市场 在算子市场查找需要的算子,了解已有算子的功能。
什么是数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现图像、视频、文档、图片等数据处理业务。 如图1所示,DWR主要对外提供开放的算子库和数据处理引擎。 算子库包含由DWR提供的华为
创建视频转码工作流 场景介绍 针对使用DWR做视频转码的场景,如果需要每个对象转码任务的参数不同,可通过给对象增加对象元数据(例如:x-obs-meta-transcode-commands: base64(commands)),再使用DWR集成自定义函数的方式来实现视频转码。 具体的工作流视图如图1所示。