检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
成长地图 | 华为云 数据工坊 数据工坊（Data Workroom，DWR）是一款近数据处理服务，通过易用的数据处理工作流编排和开放生态的数据处理算子，能够在云上实现各种灵活的数据处理业务。 文档 立即体验 成长地图 由浅入深，带您玩转DWR 01 了解 了解华为云数据工坊DWR产品
测试算子：算子提供方在发布前可通过自定义算子方式完成DWR的alpha调试，可有效降低发布后的故障率，测试结果也是算子发布时的重要审核项。 发布算子等待审核：算子提供方完成步骤4中的测试后，进入到DWR控制台界面，根据提示信息提供必要的资料提交审核。 本次实践将重点描述步骤3、4、5完成算子的开发、测试、发布。 算子执行原理
应用场景 未来几年时间，数据量将会呈数倍增长趋势，海量数据的快速处理是企业数据变现的核心诉求。DWR提供的高效、开放、易用的近数据处理能力，让视频处理、图片审核、文档压缩、灾难防治、数据搜索和推荐、办公协同、基因测序等场景的海量数据快速产生价值。 DWR的应用场景包括但不限于以下典型场景。
算子市场 算子市场即DWR提供的算子库，提供方包括华为和第三方。 华为算子的能力源是华为云数据处理相关的云服务，如媒体处理MPC、图像识别Image等，DWR将云服务提供的各种数据处理能力通过函数生成算子并在算子市场发布。 第三方算子是基于DWR的算子注册能力，由第三方开发者创建
数据处理介绍 DWR如何实现数据处理 DWR提供的近数据处理能力，可以对OBS内存储的数据，按照用户编排的工作流进行自动化处理（如解析、转码、截图等）。 DWR基于函数工作流FunctionGraph的函数能力，将复杂的业务处理逻辑编排为工作流，通过事件触发器或API驱动，自动化
处理数据 入门流程 示例：图片质量变换
输出值与测试算子的输出结果相同，表示算子已经完成测试，具备发布条件。具备发布条更重要的是动态参数的存在让用户拥有了与算子交互的接口。 动态参数中的桶名称、对象是由用户输入的参数，而触发器中的桶名称、对象则是面向触发器使用，二者不可混淆。 父主题： 发布下载OBS对象的算子
"obs:object:GetObject" ], "resource": [] } ] 单击右下角的“提交审核”。 审核通过后，算子将发布至算子市场。您可以过滤第三方的算子提供方，查看您发布的算子。 父主题： 发布下载OBS对象的算子
中配置的参数。这也是算子提供方获取用户配置参数的主要方式，后文将对该参数进行更加详细的介绍。bucketname以及object的值根据测试需要，点击函数测试参数配置。 obsclient形参中的server参数为OBS的endpoint，详情参见地区和终端节点。 不同的regi
图解数据工坊服务
什么是数据工坊 数据工坊（Data Workroom，DWR）是一款近数据处理服务，通过易用的数据处理工作流编排和开放生态的数据处理算子，能够在云上实现图像、视频、文档、图片等数据处理业务。 如图1所示，DWR主要对外提供开放的算子库和数据处理引擎。 算子库包含由DWR提供的华为自有算子和第三方开发者提供的第三方算子。
发布下载OBS对象的算子 案例概述 开发算子代码 测试算子功能 发布算子
算子市场介绍 算子市场即为DWR提供的算子库，提供方包括华为和第三方。 华为云自有算子的能力源是华为云数据处理相关的云服务，如媒体处理MPC、图像识别Image等，DWR将云服务提供的各种数据处理能力通过函数生成算子并在算子市场发布。 第三方算子是基于DWR的算子注册能力，由第三方开发者
数据处理 数据处理介绍 创建工作流 启动工作流
API调用费、FunctionGraph函数及函数工作流费、算子费。 表1 计费项 计费项 说明 OBS API调用费 算子请求OBS API的调用费。 通过算子对数据进行处理，都会涉及到对OBS API的调用，每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取，收取详情参见OBS请求费用说明。
在出现“无限循环”的场景。如果出现“无限循环”，只能先删除桶的事件触发器。主要有以下两个场景： 场景1：触发器源桶和函数执行输出目标桶是同一个桶的无限循环 案例1：使用DWR内置函数触发“无限循环” 用户创建一条工作流workflowA，在工作流中使用了内置的“媒资转码”函数，且
产品优势 数据处理方式对比 传统线下处理方式：硬件为用户自建IDC，软件为自研或集成商的数据处理软件，通过数据处理软件完成数据处理。 传统云上处理方式：使用云上存储服务和数据处理服务，数据写入存储服务后，再调用数据处理服务接口实现数据处理。 云上近数据处理方式：使用云上存储服务和
与其他服务的关系 DWR数据处理的数据源是华为云存储服务，DWR提供的华为云自有算子是通过函数生成，且能力源是华为云数据处理相关的云服务。因此，DWR与其他服务的关系如表1所示。 表1 DWR与其他云服务的关系 服务类别 服务名称 交互关系 存储服务 对象存储服务（Object Storage
资源 资源说明 数量 每月费用 OBS 算子请求OBS API。 1 通过算子对数据进行处理，都会涉及到对OBS API的调用，每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取，收取详情参见OBS请求费用说明。 FunctionGraph函数
资源 资源说明 数量 每月费用 OBS 算子请求OBS API。 1 通过算子对数据进行处理，都会涉及到对OBS API的调用，每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取，收取详情参见OBS请求费用说明。 FunctionGraph函数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
