-
权限管理 - 数据工坊 DWR
权限管理 创建用户并授权使用DWR DWR自定义策略
-
基本概念 - 数据工坊 DWR
同算子到工作流中实现高度自由化的数据处理功能。 算子 算子是DWR中的执行单位,是一个具有输入输出的完成功能模块。算子既有华为云提供的内置官方算子,也有经过华为云审核后的第三方算子。用户可以根据自己的需求挑选算子加入工作流中,从而快速构建特有的数据处理功能。 触发器 每个工作流需
-
修订记录 - 数据工坊 DWR
修订记录 发布日期 修订记录 2023-05-06 第三次正式发布。 本次变更说明如下: 使用限制,新增不支持并行文件系统的限制。 2022-04-30 第二次正式发布。 本次变更说明如下: 增加IAM细粒度授权。 2022-02-14 第一次正式发布。
-
修订记录 - 数据工坊 DWR
修订记录 发布日期 修订记录 2022-02-14 第一次正式发布。
-
修订记录 - 数据工坊 DWR
修订记录 发布日期 修订记录 2022-04-30 第二次正式发布。 本次变更说明如下: 增加IAM细粒度授权。 增加图像处理算子。 支持同步工作流。 2022-02-14 第一次正式发布。
-
应用场景 - 数据工坊 DWR
应用场景 未来几年时间,数据量将会呈数倍增长趋势,海量数据的快速处理是企业数据变现的核心诉求。DWR提供的高效、开放、易用的近数据处理能力,让视频处理、图片审核、文档压缩、灾难防治、数据搜索和推荐、办公协同、基因测序等场景的海量数据快速产生价值。 DWR的应用场景包括但不限于以下典型场景。
-
与其他服务的关系 - 数据工坊 DWR
Service,OBS) OBS作为DWR数据处理的数据源,当上传至OBS或存储在OBS的数据产生的事件满足触发器规则时,DWR将自动启动关联的工作流进行数据处理。 函数服务 函数工作流(FunctionGraph) DWR中由华为云提供的自有算子均是利用数据处理服务的API,通过FunctionGraph封装而成。
-
抽帧截图(官方算子) - 数据工坊 DWR
抽帧截图(官方算子) 方案概述 资源和成本 操作流程 实施步骤
-
发布下载OBS对象的算子 - 数据工坊 DWR
发布下载OBS对象的算子 案例概述 开发算子代码 测试算子功能 发布算子
-
操作流程 - 数据工坊 DWR
操作流程 图1 操作流程 父主题: 抽帧截图(官方算子)
-
抽帧截图(自定义算子) - 数据工坊 DWR
抽帧截图(自定义算子) 方案概述 资源和成本 操作流程 实施步骤
-
方案概述 - 数据工坊 DWR
方案概述 应用场景 需要对视频抽帧截图时,在不编写额外代码的情况下使用抽帧截图算子对视频进行指定时间点截帧。 约束与限制 该抽帧截图算子目前暂不支持中文对象。 方案架构 1. 用户使用对象域名向OBS发送请求 2. DWR收到请求同步执行位于FunctionGraph的视频截图抽帧算子实例,调用MPC服务
-
案例概述 - 数据工坊 DWR
案例概述 场景介绍 DWR平台除了提供面向使用者的平台功能,同时也支持合作伙伴将自有功能包装成算子发布到DWR平台上,帮助伙伴快速搭建用户的数据处理工厂。 算子发布流程 图1 算子发布流程图 部署服务:算子提供方需要将自身服务部署在华为云,同时对外提供API,方便用户进行调用。 A
-
创建用户并授权使用DWR - 数据工坊 DWR
在IAM控制台创建用户组,并授予数据工坊只读权限“DWR ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入步骤1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限:在“服务列表”中选择数据工坊,进入DWR工作流页
-
操作流程 - 数据工坊 DWR
操作流程 您首先需要在FunctionGraph导入自定义算子需要的函数依赖包。然后需要在FunctionGraph创建自定义抽帧截图函数。之后需要在DWR工作流编排界面完成配置动态参数,创建同步工作流。最后触发工作流进行验证。 图1 操作流程 父主题: 抽帧截图(自定义算子)
-
方案概述 - 数据工坊 DWR
方案概述 应用场景 需要对视频抽帧截图时,在不编写额外代码的情况下使用抽帧截图算子对视频进行指定时间点截帧。 约束与限制 该抽帧截图算子目前暂不支持中文对象。 方案架构 方案优势 用户自定义算子,无需依赖额外服务,功能更灵活。 父主题: 抽帧截图(自定义算子)
-
一个事件触发器可以设置多个前缀或者后缀吗? - 数据工坊 DWR
10个触发器。 例如对于媒资转码工作流,用户需要对后缀mp4和mov两种格式的视频进行数据处理。用户需要为该给工作流创建两条触发器,一条用于触发mp4格式的数据处理,一条用于触发mov格式的数据处理。