检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
成长地图 | 华为云 数据工坊 数据工坊（Data Workroom，DWR）是一款近数据处理服务，通过易用的数据处理工作流编排和开放生态的数据处理算子，能够在云上实现各种灵活的数据处理业务。 文档 立即体验 成长地图 由浅入深，带您玩转DWR 01 了解 了解华为云数据工坊DWR产品优
开发算子代码 DWR算子开发运行依赖于FunctionGraph平台，本节将使用python开发一个下载OBS对象的算子，python使用详情参见Python函数开发指南。通过对该示例算子开发方式的说明，能够帮助算子开发者快速适应开发流程。通过本节将学到以下内容： 算子代码的入口结构
处理数据 入门流程 示例：图片质量变换
BS桶已授权。 1 由媒体处理服务MPC进行收费，详情查看计费说明。 操作步骤 创建解析对象元数据并封装MPC转码任务的函数。 在FunctionGraph创建函数，选择“Python 2.7”运行时语言，并为函数配置具有访问OBS权限的委托，最后配置函数环境变量：region_
数据处理介绍 DWR如何实现数据处理 DWR提供的近数据处理能力，可以对OBS内存储的数据，按照用户编排的工作流进行自动化处理（如解析、转码、截图等）。 DWR基于函数工作流FunctionGraph的函数能力，将复杂的业务处理逻辑编排为工作流，通过事件触发器或API驱动，自动化
工作流主要是对算子进行编排，这样DWR就可以按照用户编排的算子顺序对OBS中的数据进行自动化处理（如视频解析、图片转码、视频截图等）。 工作流编排采用图形化界面，方便用户直观便捷的构建数据处理流程，同时提供了预置的算子和自定义函数能力，覆盖数据处理的各种场景。 发布区域：北京四、上海一、上海二、广州、新加坡
数据处理 数据处理介绍 创建工作流 启动工作流
什么是数据工坊 数据工坊（Data Workroom，DWR）是一款近数据处理服务，通过易用的数据处理工作流编排和开放生态的数据处理算子，能够在云上实现图像、视频、文档、图片等数据处理业务。 如图1所示，DWR主要对外提供开放的算子库和数据处理引擎。 算子库包含由DWR提供的华为
图解数据工坊服务
10个触发器。 例如对于媒资转码工作流，用户需要对后缀mp4和mov两种格式的视频进行数据处理。用户需要为该给工作流创建两条触发器，一条用于触发mp4格式的数据处理，一条用于触发mov格式的数据处理。
入门流程 当需要使用DWR服务对OBS内存储的数据自动进行多项复杂任务（如解析、转码、截图等）处理时，建议参考表1逐步操作。 表1 DWR使用流程简介 操作步骤 操作说明 步骤一：准备工作 注册华为云账号，并开通数据工坊DWR服务。 （可选）步骤二：浏览算子市场 在算子市场查找需要的算子，了解已有算子的功能。
算子已开发完成，开发规范参考自定义函数开发规范，建议使用Go、Python开发（算子的冷启动效果更好）。 算子已在华为云云市场上架，上架指导参考发布API类商品操作指导。 操作步骤 登录管理控制台。在左侧导航栏上方，单击，选择“存储 > 数据工坊DWR”。 进入DWR页面。 在左侧导航栏选中“发布算子”，进入“发布算子”页面。
本章节为您介绍对用户授权的方法，操作流程如图1所示。 前提条件 给用户组授权之前，请您了解用户组可以添加的DWR权限，并结合实际需求进行选择，DWR支持的系统权限，请参见DWR系统权限。 示例流程 图1 给用户授予DWR权限流程 创建用户组并授权 在IAM控制台创建用户组，并授予数据工坊只读权限“DWR ReadOnlyAccess”。
应用场景 未来几年时间，数据量将会呈数倍增长趋势，海量数据的快速处理是企业数据变现的核心诉求。DWR提供的高效、开放、易用的近数据处理能力，让视频处理、图片审核、文档压缩、灾难防治、数据搜索和推荐、办公协同、基因测序等场景的海量数据快速产生价值。 DWR的应用场景包括但不限于以下典型场景。
并且与其他数据处理服务相互配合进行数据处理。主要分以下两个方面： 第一次使用DWR时，需要在控制台上根据提示对DWR进行统一授权。 授权内容： 授权DWR使用您的FunctionGraph服务和DWR工作流中使用到的其他数据处理服务，用以创建函数和通过函数调用其他数据处理服务的A
算子已开发完成，开发规范参考自定义函数开发规范，建议使用Go、Python开发（算子的冷启动效果更好）。 算子已在华为云云商店上架，上架指导参考发布API类商品操作指导。 开发的新算子如果要支持同步工作流，需要保证同步工作流最后一个算子返回方式为以下的一种： 返回方式1：字符串数据 { "executi
在OBS服务控制台创建两个桶，一个用于上传待处理的数据对象，一个用于存储处理后的数据对象。桶的详细介绍参见创建桶。 数据输入桶：“piccomp” 数据处理后输出桶：“piccomp-output” 这里创建两个桶是为了防止无限循环。因为处理后的数据如果放在源桶，又跟事件触发器执行的条件匹
对象存储服务OBS 格式转换 是 对象存储服务OBS 图片暗水印 是 数据安全中心DSC 视频处理 视频解析 是 媒体处理服务MPC 抽帧截图 是 媒体处理服务MPC 媒资转码 否 媒体处理服务MPC 消息通知 DIS消息通知 NA 数据接入服务DIS SMN消息通知 NA 消息通知服务SMN
S的权限，创建方式参考创建委托。 函数创建成功后进入函数详情页添加依赖包。 在“代码依赖包”模块点击“添加依赖包”。 选择私有依赖包，添加步骤1中创建好的依赖包 依赖添加成功后，在FunctionGraph控制台添加算子代码并保存部署。参考示例如下： # -*- coding:utf-8
API调用费、FunctionGraph函数及函数工作流费、算子费。 表1 计费项 计费项 说明 OBS API调用费 算子请求OBS API的调用费。 通过算子对数据进行处理，都会涉及到对OBS API的调用，每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取，收取详情参见OBS请求费用说明。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
