检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据处理 数据处理介绍 创建工作流 启动工作流
相关参考 自定义函数开发规范
处理数据 入门流程 示例:图片质量变换
修订记录 发布日期 修订记录 2023-05-06 第三次正式发布。 本次变更说明如下: 使用限制,新增不支持并行文件系统的限制。 2022-04-30 第二次正式发布。 本次变更说明如下: 增加IAM细粒度授权。 2022-02-14 第一次正式发布。
操作流程 图1 操作流程 父主题: 抽帧截图(官方算子)
抽帧截图(自定义算子) 方案概述 资源和成本 操作流程 实施步骤
资源和成本 表1 资源和成本规划 资源 资源说明 数量 每月费用 OBS 算子请求OBS API。 1 通过算子对数据进行处理,都会涉及到对OBS API的调用,每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取,收取详情参见OBS请求费用说明
算子市场介绍 算子市场即为DWR提供的算子库,提供方包括华为和第三方。 华为云自有算子的能力源是华为云数据处理相关的云服务,如媒体处理MPC、图像识别Image等,DWR将云服务提供的各种数据处理能力通过函数生成算子并在算子市场发布。 第三方算子是基于DWR的算子注册能力,由第三方开发者创建
计费说明 算子费用主要由三部分组成:OBS API调用费、FunctionGraph函数及函数工作流费、算子费。 表1 计费项 计费项 说明 OBS API调用费 算子请求OBS API的调用费。 通过算子对数据进行处理,都会涉及到对OBS API的调用,每调用一次API都计算一次请求次数
创建用户并授权使用DWR 如果您需要对您所拥有的DWR服务进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建IAM用户
成长地图 | 华为云 数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现各种灵活的数据处理业务。 文档 立即体验 成长地图 由浅入深,带您玩转DWR 01 了解 了解华为云数据工坊DWR
数据处理介绍 DWR如何实现数据处理 DWR提供的近数据处理能力,可以对OBS内存储的数据,按照用户编排的工作流进行自动化处理(如解析、转码、截图等)。 DWR基于函数工作流FunctionGraph的函数能力,将复杂的业务处理逻辑编排为工作流,通过事件触发器或API驱动,自动化完成多项复杂的数据处理任务
视频解析 场景介绍 解析视频的元数据信息,包括:视频时长、视频格式、码率等。用于视频播放时获取时长,分辨率展示 等等。 流程一览 操作步骤 在OBS服务中创建桶 在OBS服务控制台创建两个桶,一个用于上传待处理的数据对象,一个用于存储处理后的数据对象。桶的详细介绍参见创建桶。 数据输入桶
媒资转码 场景介绍 执行MPC服务的预置转码模板“DASH_H.265_4K_低码_1入9出”,将片源转为4K、2K、1080等码率的视频。该模板实际调用的是MPC服务的新建转码任务接口。 约束与限制 媒资转码算子不支持同步返回,如您配置了同步工作流执行媒资转码算子,则会采用异步方式执行
DWR自定义策略 如果系统预置的DWR权限,不满足您的授权要求,可以创建自定义策略。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。 JSON视图创建自定义策略:可以在选择策略模板后
基本概念 工作流 工作流是DWR运行单位,其中可以包含一个或多个算子,客户可通过加入不同算子到工作流中实现高度自由化的数据处理功能。 算子 算子是DWR中的执行单位,是一个具有输入输出的完成功能模块。算子既有华为云提供的内置官方算子,也有经过华为云审核后的第三方算子。用户可以根据自己的需求挑选算子加入工作流中
入门流程 当需要使用DWR服务对OBS内存储的数据自动进行多项复杂任务(如解析、转码、截图等)处理时,建议参考表1逐步操作。 表1 DWR使用流程简介 操作步骤 操作说明 步骤一:准备工作 注册华为云账号,并开通数据工坊DWR服务。 (可选)步骤二:浏览算子市场 在算子市场查找需要的算子
测试算子功能 当算子功能代码开发完毕后,可以在DWR工作流中使用或进行上线前的测试。本节主要介绍如何使用DWR的自定义工作流来测试算子的功能。 测试算子功能 登录DWR控制台, 在工作流页面点击“创建工作流”进入工作流编排界面。 将左侧“自定义”算子拖拽至编排区域。 鼠标单击各流程图标下方的小圆圈并长按拖拽
实施步骤 准备工作 点击开通mpc服务授权。 选择打开委托授权或桶授权。 委托授权:开启后,媒体处理服务将拥有您所有桶的读写权限,子账号不支持委托权限。 桶授权:开启后,媒体处理服务仅拥有已授权桶的读写权限。 操作步骤 登录DWR控制台,在“工作流”页面单击右上角“创建工作流”,进入创建工作流界面
方案概述 应用场景 需要对视频抽帧截图时,在不编写额外代码的情况下使用抽帧截图算子对视频进行指定时间点截帧。 约束与限制 该抽帧截图算子目前暂不支持中文对象。 方案架构 1. 用户使用对象域名向OBS发送请求 2. DWR收到请求同步执行位于FunctionGraph的视频截图抽帧算子实例