检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
产品优势 数据处理方式对比 传统线下处理方式：硬件为用户自建IDC，软件为自研或集成商的数据处理软件，通过数据处理软件完成数据处理。 传统云上处理方式：使用云上存储服务和数据处理服务，数据写入存储服务后，再调用数据处理服务接口实现数据处理。 云上近数据处理方式：使用云上存储服务和DWR
权限管理 如果您需要对华为云上购买的DWR资源，为企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能
算子管理 算子市场介绍 发布算子 官方算子一览
相关参考 自定义函数开发规范
视频解析 场景介绍 解析视频的元数据信息，包括：视频时长、视频格式、码率等。用于视频播放时获取时长，分辨率展示 等等。 流程一览 操作步骤 在OBS服务中创建桶 在OBS服务控制台创建两个桶，一个用于上传待处理的数据对象，一个用于存储处理后的数据对象。桶的详细介绍参见创建桶。 数据输入桶
权限管理 创建用户并授权使用DWR DWR自定义策略
最新动态 本文介绍了数据工坊各特性版本的功能发布和对应的文档动态，欢迎体验。 序号 功能名称 功能描述 阶段 相关文档 1 数据工坊全新公测上线 数据工坊通过易用的数据处理工作流编排和开放生态的数据处理算子，能够在云上实现各种灵活的数据处理业务。 公测 什么是数据工坊
发布算子 操作场景 所有开发者均可以创建用于数据处理的算子，审核通过后发布至DWR算子市场，开放给所有华为云用户使用。 当算子被华为云用户使用之后，算子发布者将会获得相应的收益，详情参见计费说明。 算子从API上线、开发、到发布的整个流程如图1所示，本节主要介绍如何使用DWR发布已开发好的算子到算子市场
如何测试算子 当算子功能代码开发完毕后，可以在DWR工作流中使用自定义工作流进行测试。请参考测试算子功能。
基本概念 工作流 工作流是DWR运行单位，其中可以包含一个或多个算子，客户可通过加入不同算子到工作流中实现高度自由化的数据处理功能。 算子 算子是DWR中的执行单位，是一个具有输入输出的完成功能模块。算子既有华为云提供的内置官方算子，也有经过华为云审核后的第三方算子。用户可以根据自己的需求挑选算子加入工作流中
修订记录 发布日期 修订记录 2023-05-06 第三次正式发布。 本次变更说明如下： 使用限制，新增不支持并行文件系统的限制。 2022-04-30 第二次正式发布。 本次变更说明如下： 增加IAM细粒度授权。 2022-02-14 第一次正式发布。
修订记录 发布日期 修订记录 2022-02-14 第一次正式发布。
应用场景 未来几年时间，数据量将会呈数倍增长趋势，海量数据的快速处理是企业数据变现的核心诉求。DWR提供的高效、开放、易用的近数据处理能力，让视频处理、图片审核、文档压缩、灾难防治、数据搜索和推荐、办公协同、基因测序等场景的海量数据快速产生价值。 DWR的应用场景包括但不限于以下典型场景
发布算子 操作场景 所有开发者均可以创建用于数据处理的算子，审核通过后发布至DWR算子市场，开放给所有华为云用户使用。 当算子被华为云用户使用之后，算子发布者将会获得相应的收益，详情参见计费说明。 算子从API上线、开发、到发布的整个流程如图1所示，本节主要介绍如何使用DWR发布已开发好的算子到算子市场
DWR自定义策略 如果系统预置的DWR权限，不满足您的授权要求，可以创建自定义策略。 目前华为云支持以下两种方式创建自定义策略： 可视化视图创建自定义策略：无需了解策略语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。 JSON视图创建自定义策略：可以在选择策略模板后
与其他服务的关系 DWR数据处理的数据源是华为云存储服务，DWR提供的华为云自有算子是通过函数生成，且能力源是华为云数据处理相关的云服务。因此，DWR与其他服务的关系如表1所示。 表1 DWR与其他云服务的关系 服务类别 服务名称 交互关系 存储服务 对象存储服务（Object Storage
自定义函数开发规范 用户在自行开发自定义函数时，函数的输入参数和输出参数需要遵守本节的开发规范。 自定义函数的编译方式请参考FunctionGraph的《开发指南》。 函数输入参数 工作流执行自定义函数时，函数输入参数的JSON格式的结构体和环境变量的定义如下： 表1 函数输入的JSON
方案概述 应用场景 需要对视频抽帧截图时，在不编写额外代码的情况下使用抽帧截图算子对视频进行指定时间点截帧。 约束与限制 该抽帧截图算子目前暂不支持中文对象。 方案架构 1. 用户使用对象域名向OBS发送请求 2. DWR收到请求同步执行位于FunctionGraph的视频截图抽帧算子实例
算子市场介绍 算子市场即为DWR提供的算子库，提供方包括华为和第三方。 华为云自有算子的能力源是华为云数据处理相关的云服务，如媒体处理MPC、图像识别Image等，DWR将云服务提供的各种数据处理能力通过函数生成算子并在算子市场发布。 第三方算子是基于DWR的算子注册能力，由第三方开发者创建
创建视频转码工作流 场景介绍 针对使用DWR做视频转码的场景，如果需要每个对象转码任务的参数不同，可通过给对象增加对象元数据（例如：x-obs-meta-transcode-commands: base64(commands)），再使用DWR集成自定义函数的方式来实现视频转码。 具体的工作流视图如图
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
