检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资源和成本 表1 资源和成本规划 资源 资源说明 数量 每月费用 OBS 算子请求OBS API。 1 通过算子对数据进行处理,都会涉及到对OBS API的调用,每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取,收取详情参见OBS请求费用说明。
操作流程 图1 操作流程 父主题: 抽帧截图(官方算子)
抽帧截图(自定义算子) 方案概述 资源和成本 操作流程 实施步骤
资源和成本 表1 资源和成本规划 资源 资源说明 数量 每月费用 OBS 算子请求OBS API。 1 通过算子对数据进行处理,都会涉及到对OBS API的调用,每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取,收取详情参见OBS请求费用说明。
处理数据 入门流程 示例:图片质量变换
修订记录 发布日期 修订记录 2023-05-06 第三次正式发布。 本次变更说明如下: 使用限制,新增不支持并行文件系统的限制。 2022-04-30 第二次正式发布。 本次变更说明如下: 增加IAM细粒度授权。 2022-02-14 第一次正式发布。
修订记录 发布日期 修订记录 2022-02-14 第一次正式发布。
图解数据工坊服务
发布下载OBS对象的算子 案例概述 开发算子代码 测试算子功能 发布算子
抽帧截图(官方算子) 方案概述 资源和成本 操作流程 实施步骤
发布算子 操作场景 所有开发者均可以创建用于数据处理的算子,审核通过后发布至DWR算子市场,开放给所有华为云用户使用。 当算子被华为云用户使用之后,算子发布者将会获得相应的收益,详情参见计费说明。 算子从API上线、开发、到发布的整个流程如图1所示,本节主要介绍如何使用DWR发布已开发好的算子到算子市场。
细介绍,请参见IAM产品介绍。 DWR权限 默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 DWR部署时通过物理区域划分,为
该抽帧截图算子目前暂不支持中文对象。 方案架构 1. 用户使用对象域名向OBS发送请求 2. DWR收到请求同步执行位于FunctionGraph的视频截图抽帧算子实例,调用MPC服务 3. MPC服务完成抽帧截图,将结果写回租户桶 4. DWR读取租户桶并将结果返回给用户 方案优势 无需额外代码编写,快速构建视频抽帧截图应用。
示例:图片质量变换 场景介绍 对于需要对大量图片文件进行压缩,快速发布上线的场景,可以使用DWR可视化的质量变换工作流来完成任务,帮助用户提升图片处理效率,节省内容发布时间。 实现流程 该实例通过创建触发器的方式异步启动工作流,实现流程为: 在OBS服务中创建桶 在DWR服务中创建工作流
对象满足触发器条件),则转码的输出会再次触发工作流,从而导致用户工作流不停的执行,出现“无限循环”。 图1 工作流配置workflowA 图2 工作流触发器triggerA配置 案例2:自定义函数触发“无限循环” 用户创建一条工作流workflowA,在工作流中使用了自定义函数,
己创建的算子发布为第三方算子,开放给所有华为云用户使用。 发布区域:北京四、上海一、上海二、广州、新加坡 算子市场 华为算子一览 发布算子 所有开发者均可以创建用于数据处理的算子,审核通过后发布至DWR算子市场,开放给所有华为云用户使用。 发布之前请按要求提供算子的基本信息、上传算子所需文件、配置算子参数。
需访问OBS,用户需要对委托进行授权并配置到FunctionGraph的函数配置项中。 桶名以及对象名通过event进行获取。如图2所示,桶名、对象等信息保存在event中,代码中dynamic_source是event中一个特殊结构体,通过它算子提供方可以获取用户在DWR中配置
产品优势 数据处理方式对比 传统线下处理方式:硬件为用户自建IDC,软件为自研或集成商的数据处理软件,通过数据处理软件完成数据处理。 传统云上处理方式:使用云上存储服务和数据处理服务,数据写入存储服务后,再调用数据处理服务接口实现数据处理。 云上近数据处理方式:使用云上存储服务和
第三方开发者创建,专业人员审核发布的公共算子,您也可以将自己创建的算子发布为第三方算子,开放给所有华为云用户使用。 数据处理引擎的核心是DWR提供的工作流图形化编排能力,用户可以通过图形化的界面,将任意算子编排到工作流中。通过事件触发器或API驱动,DWR将根据您定义的工作流自动进行数据处理。
在“控制台”页面,鼠标移动至右上方的用户名,在下拉列表中选择“统一身份认证”。 创建用户组。 详细步骤请参见创建用户组,创建成功后,为该用户组配置Tenant Administrator权限。 创建用户。 详细步骤请参见创建用户,创建用户时“所属用户组”需选择步骤3创建的用户组。