检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图解数据工坊服务
成长地图 | 华为云 数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现各种灵活的数据处理业务。 文档 立即体验 成长地图 由浅入深,带您玩转DWR 01 了解 了解华为云数据工坊DW
发布算子 所有开发者均可以创建用于数据处理的算子,审核通过后发布至DWR算子市场,开放给所有华为云用户使用。 发布之前请按要求提供算子的基本信息、上传算子所需文件、配置算子参数。 发布区域:北京四、上海一、上海二、广州、新加坡 发布算子 OBS 2.0支持创建工作流 工作流主要是对算子进
什么是数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现图像、视频、文档、图片等数据处理业务。 如图1所示,DWR主要对外提供开放的算子库和数据处理引擎。 算子库包含由DWR提供的华为
处理数据 入门流程 示例:图片质量变换
资源和成本 表1 资源和成本规划 资源 资源说明 数量 每月费用 OBS 算子请求OBS API。 1 通过算子对数据进行处理,都会涉及到对OBS API的调用,每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取,收取详情参见OBS请求费用说明。
资源和成本 表1 资源和成本规划 资源 资源说明 数量 每月费用 OBS 算子请求OBS API。 1 通过算子对数据进行处理,都会涉及到对OBS API的调用,每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取,收取详情参见OBS请求费用说明。
图2 创建事件触发器 上传文件触发工作流执行 登录OBS服务控制台,进入桶“piccomp”对象列表页面上传图片,如图3所示。 上传图片至piccomp桶后OBS会自动生成事件触发工作流运行,将图片压缩。 触发器执行存在一定的延时,大概5分钟生效。 图3 上传文件 查看图片压缩效果
使用限制 区域限制 当前支持使用的区域为:北京四、上海一、上海二、广州、新加坡。 使用限制 当前仅支持OBS对象桶,不支持并行文件系统。 当前仅支持创建串行的工作流。 一个事件触发器仅支持关联一个工作流,一个工作流可同时被多个事件触发器关联。 当前暂不支持创建重名工作流,即使工作
触发器执行存在一定的延时,大概5分钟生效。 图2 创建事件触发器 上传文件触发工作流执行 登录OBS服务控制台,进入桶“piccomp”对象列表页面上传视频,如图3所示。 上传视频至piccomp桶后OBS会自动生成事件触发工作流运行,进行媒资转码。 图3 上传视频 查看媒资转码结果 转码后的视频存放在
计费说明 算子费用主要由三部分组成:OBS API调用费、FunctionGraph函数及函数工作流费、算子费。 表1 计费项 计费项 说明 OBS API调用费 算子请求OBS API的调用费。 通过算子对数据进行处理,都会涉及到对OBS API的调用,每调用一次API都计算一
DWR支持通过控制台、API配置数据处理的工作流和事件触发器。 支持的使用方式 参考文档 控制台 创建工作流 创建事件触发器 API 请参见《数据工坊API参考》。 前提条件 已创建工作流。 父主题: 数据处理
方案概述 应用场景 需要对视频抽帧截图时,在不编写额外代码的情况下使用抽帧截图算子对视频进行指定时间点截帧。 约束与限制 该抽帧截图算子目前暂不支持中文对象。 方案架构 1. 用户使用对象域名向OBS发送请求 2. DWR收到请求同步执行位于FunctionGraph的视频截图抽帧算子实例,调用MPC服务
根据算子市场上提供的分类进行选择。 算子logo 支持主流图片格式 图2 算子基本信息 请参考模板上传所需文件。 上传文件包括:算子代码包、中文和英文帮助文档、中文和英文开源声明、中文和英文服务协议文档、中文和英文测试报告。 图3 上传文件 配置算子参数。 参数 说明 Inputs参数(可选) 提供算子入参
根据算子市场上提供的分类进行选择。 算子logo 支持主流图片格式。 图2 算子基本信息 上传算子文件。 上传文件包括:算子代码包、中文和英文帮助文档、中文和英文服务协议文档、中文和英文开源声明、中文和英文测试报告。 图3 上传文件 配置算子参数。 参数 说明 Inputs参数(可选) 提供算子入参
操作流程 您首先需要在FunctionGraph导入自定义算子需要的函数依赖包。然后需要在FunctionGraph创建自定义抽帧截图函数。之后需要在DWR工作流编排界面完成配置动态参数,创建同步工作流。最后触发工作流进行验证。 图1 操作流程 父主题: 抽帧截图(自定义算子)
操作流程 图1 操作流程 父主题: 抽帧截图(官方算子)
抽帧截图(官方算子) 方案概述 资源和成本 操作流程 实施步骤
准备工作 注册华为账号并开通华为云,再完成实名认证 如果您已有一个华为账号,请跳到下一个任务。如果您还没有华为账号,请参考以下步骤创建。 根据提示信息完成注册。 注册成功后,系统会自动跳转至您的个人信息界面。 关于注册华为账号并开通华为云,请参见注册华为账号并开通华为云。 请参考实名认证完成个人或企业账号实名认证。
触发器执行存在一定的延时,大概5分钟生效。 图2 创建事件触发器 上传文件触发工作流执行 登录OBS服务控制台,进入桶“piccomp”对象列表页面上传视频,如图3所示。 上传视频至piccomp桶后OBS会自动生成事件触发工作流运行,进行视频解析。 图3 上传视频 查看视频解析结果 解析后的视频参数存