-
数据工坊 DWR - 数据工坊 DWR
成长地图 | 华为云 数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现各种灵活的数据处理业务。 文档 立即体验 成长地图 由浅入深,带您玩转DWR 01 了解 了解华为云数据工坊DWR产品优
-
数据工坊 DWR - 数据工坊 DWR
工作流主要是对算子进行编排,这样DWR就可以按照用户编排的算子顺序对OBS中的数据进行自动化处理(如视频解析、图片转码、视频截图等)。 工作流编排采用图形化界面,方便用户直观便捷的构建数据处理流程,同时提供了预置的算子和自定义函数能力,覆盖数据处理的各种场景。 发布区域:北京四、上海一、上海二、广州、新加坡
-
数据处理介绍 - 数据工坊 DWR
数据处理介绍 DWR如何实现数据处理 DWR提供的近数据处理能力,可以对OBS内存储的数据,按照用户编排的工作流进行自动化处理(如解析、转码、截图等)。 DWR基于函数工作流FunctionGraph的函数能力,将复杂的业务处理逻辑编排为工作流,通过事件触发器或API驱动,自动化
-
处理数据 - 数据工坊 DWR
处理数据 入门流程 示例:图片质量变换
-
开发算子代码 - 数据工坊 DWR
"84a3dd2bd67f43aa9b98cdd74604ca68", "graph_name": "test_workflow", "Records": [ { "eventName": "ObjectCreated:Put",
-
图解数据工坊服务 - 数据工坊 DWR
图解数据工坊服务
-
官方算子一览 - 数据工坊 DWR
输出路径为:output crop_outbucket 图片处理输出桶 索引剪切 模板作用:以图片左上角顶点为起始点,设宽为x轴,高为y轴。根据指定长度进行等长剪切,根据指定索引取出剪切后区域。 表7 索引剪切 属性类别 参数名称 参数说明 基本属性 名称 任务的名称,修改后将体现在工作流编排区域。
-
计费说明 - 数据工坊 DWR
API调用费、FunctionGraph函数及函数工作流费、算子费。 表1 计费项 计费项 说明 OBS API调用费 算子请求OBS API的调用费。 通过算子对数据进行处理,都会涉及到对OBS API的调用,每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取,收取详情参见OBS请求费用说明。
-
创建工作流 - 数据工坊 DWR
"Records":[ // 处理对象 ], "dynamic_source": {//执行算子的输出结果 "tasks": [ {body}, // 直接返回body字符串 ] } } 返回方式2:文件流数据 {
-
资源和成本 - 数据工坊 DWR
资源和成本 表1 资源和成本规划 资源 资源说明 数量 每月费用 OBS 算子请求OBS API。 1 通过算子对数据进行处理,都会涉及到对OBS API的调用,每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取,收取详情参见OBS请求费用说明。
-
自定义函数开发规范 - 数据工坊 DWR
graph_name 是 String 工作流名称。 继承函数输入参数的graph_name。 Records 是 Array 工作流触发的事件源事件消息。 如果没有变化,则继承函数输入参数的records。 inputs 否 Map[String]String 用户可修改参数列表。 如果没有新增,则继承函数输入参数的inputs。
-
发布算子 - 数据工坊 DWR
返回方式1:字符串数据 { "execution_name":"84a3dd2bd67f43aa9b98cdd74604ca68", //工作流实例名称 "graph_name":"test_workflow", //工作流名称 "Records":[ //
-
实施步骤 - 数据工坊 DWR
bucketName = event['Records'][0]['obs']['bucket']['name'] objectKey = urllib.parse.unquote(event['Records'][0]['obs']['object']['key'])
-
创建视频转码工作流 - 数据工坊 DWR
获取上传桶、对象信息 bucketName = event['Records'][0]['obs']['bucket']['name'] objectKey = urllib.unquote(event['Records'][0]['obs']['object']['key'])
-
数据处理 - 数据工坊 DWR
数据处理 数据处理介绍 创建工作流 启动工作流
-
入门流程 - 数据工坊 DWR
入门流程 当需要使用DWR服务对OBS内存储的数据自动进行多项复杂任务(如解析、转码、截图等)处理时,建议参考表1逐步操作。 表1 DWR使用流程简介 操作步骤 操作说明 步骤一:准备工作 注册华为云账号,并开通数据工坊DWR服务。 (可选)步骤二:浏览算子市场 在算子市场查找需要的算子,了解已有算子的功能。
-
什么是数据工坊 - 数据工坊 DWR
什么是数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现图像、视频、文档、图片等数据处理业务。 如图1所示,DWR主要对外提供开放的算子库和数据处理引擎。 算子库包含由DWR提供的华为
-
启动工作流 - 数据工坊 DWR
启动工作流 通过事件触发器异步启动工作流 通过API异步启动工作流 通过API同步启动工作流 父主题: 数据处理
-
示例:图片质量变换 - 数据工坊 DWR
在OBS服务控制台创建两个桶,一个用于上传待处理的数据对象,一个用于存储处理后的数据对象。桶的详细介绍参见创建桶。 数据输入桶:“piccomp” 数据处理后输出桶:“piccomp-output” 这里创建两个桶是为了防止无限循环。因为处理后的数据如果放在源桶,又跟事件触发器执行的条件匹
-
通过API异步启动工作流 - 数据工坊 DWR
通过API异步启动工作流 DWR支持通过API异步启动已有工作流,详情参见API异步启动工作流。 父主题: 启动工作流