检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在OBS服务中上传文件触发工作流执行 使用限制 当前支持使用的区域为:北京四、上海一、上海二、广州、新加坡。 操作步骤 在OBS服务中创建桶 在OBS服务控制台创建两个桶,一个用于上传待处理的数据对象,一个用于存储处理后的数据对象。桶的详细介绍参见创建桶。 数据输入桶:“piccomp”
与其他服务的关系 DWR数据处理的数据源是华为云存储服务,DWR提供的华为云自有算子是通过函数生成,且能力源是华为云数据处理相关的云服务。因此,DWR与其他服务的关系如表1所示。 表1 DWR与其他云服务的关系 服务类别 服务名称 交互关系 存储服务 对象存储服务(Object Storage
发布下载OBS对象的算子 案例概述 开发算子代码 测试算子功能 发布算子
图解数据工坊服务
权限管理 创建用户并授权使用DWR DWR自定义策略
于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对DWR服务,管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。多数细粒度策略以API接口为粒度进行权限拆分。 如表1所示,包括了DWR的所有系统权限。 表1 DWR系统权限 系统角色/策略名称
什么是数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现图像、视频、文档、图片等数据处理业务。 如图1所示,DWR主要对外提供开放的算子库和数据处理引擎。 算子库包含由DWR提供的华为
一个事件触发器可以设置多个前缀或者后缀吗? 如果您需要使用一个工作流处理多种后缀的文件,可以为该工作流创建多条事件触发器来实现支持多个前缀或者后缀。 当前一个事件触发器支持设置一个前缀或者后缀,一个桶支持绑定10个触发器。 例如:对于媒资转码工作流,用户需要对后缀mp4和mov两
业务流程复杂,复杂度高 图形化编排工具,一站式运维平台,复杂度低 DWR的优势 高效:数据处理时间缩短60% 近数据计算:调用算子提供商设定好的云服务器API来执行算子,函数化调用,路径短。 易用:开发运维效率提升50%+ 图形化编排:拖拉式智能模块化操作,免代码。 一站式运维:可视化统一运维平台,降低管理难度。
根据算子市场上提供的分类进行选择。 算子logo 支持主流图片格式。 图2 算子基本信息 上传算子文件。 上传文件包括:算子代码包、中文和英文帮助文档、中文和英文服务协议文档、中文和英文开源声明、中文和英文测试报告。 图3 上传文件 配置算子参数。 参数 说明 Inputs参数(可选) 提供算子入参中动态
入门流程 当需要使用DWR服务对OBS内存储的数据自动进行多项复杂任务(如解析、转码、截图等)处理时,建议参考表1逐步操作。 表1 DWR使用流程简介 操作步骤 操作说明 步骤一:准备工作 注册华为云账号,并开通数据工坊DWR服务。 (可选)步骤二:浏览算子市场 在算子市场查找需要的算子,了解已有算子的功能。
根据算子市场上提供的分类进行选择。 算子logo 支持主流图片格式 图2 算子基本信息 请参考模板上传所需文件。 上传文件包括:算子代码包、中文和英文帮助文档、中文和英文开源声明、中文和英文服务协议文档、中文和英文测试报告。 图3 上传文件 配置算子参数。 参数 说明 Inputs参数(可选) 提供算子入参中动态
方案概述 应用场景 需要对视频抽帧截图时,在不编写额外代码的情况下使用抽帧截图算子对视频进行指定时间点截帧。 约束与限制 该抽帧截图算子目前暂不支持中文对象。 方案架构 方案优势 用户自定义算子,无需依赖额外服务,功能更灵活。 父主题: 抽帧截图(自定义算子)
修订记录 发布日期 修订记录 2022-02-14 第一次正式发布。
"constraints": { "regex": ".*" }, "invisible": false, "description": "目标文件所在桶" }, { "parameter_name": "object", "parameter_value": "",
置。 图3 创建触发器 前缀与后缀配合使用可以使触发器监听桶中不同目录中的内容,例如图3中触发器将监听testdir目录中以.png结尾的文件。 事件源触发器分两大类: ObjectCreated :监听包括上传,更新,复制等操作。 ObjectRemoved:监听删除对象操作。
CreateTranscodeTaskBody struct { //源文件存储地址。 Input *FileAddr `json:"input,omitempty"` //转码后的视频文件存储地址。 Output *FileAddr `json:"output"` //转码模板ID,数组
通过事件触发器异步启动工作流 操作场景 创建工作流之后,可以通过创建事件触发器来为工作流设置执行条件,指定桶内什么数据在执行某类操作后开始执行工作流。 前提条件 已完成工作流创建。 约束与限制 一个桶支持绑定10个事件触发器。 操作步骤 登录管理控制台。在左侧导航栏上方,单击,选择“存储
“无限循环”触发工作流如何处理? 由于DWR只能按触发器前缀、后缀、事件源类型等条件触发工作流,所以可能存在出现“无限循环”的场景。如果出现“无限循环”,只能先删除桶的事件触发器。主要有以下两个场景: 场景1:触发器源桶和函数执行输出目标桶是同一个桶的无限循环 案例1:使用DWR内置函数触发“无限循环”
抽帧截图(官方算子) 方案概述 资源和成本 操作流程 实施步骤