检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发算子代码 DWR算子开发运行依赖于FunctionGraph平台，本节将使用python开发一个下载OBS对象的算子，python使用详情参见Python函数开发指南。通过对该示例算子开发方式的说明，能够帮助算子开发者快速适应开发流程。通过本节将学到以下内容： 算子代码的入口结构
成长地图 | 华为云 数据工坊 数据工坊（Data Workroom，DWR）是一款近数据处理服务，通过易用的数据处理工作流编排和开放生态的数据处理算子，能够在云上实现各种灵活的数据处理业务。 文档 立即体验 成长地图 由浅入深，带您玩转DWR 01 了解 了解华为云数据工坊DWR产品优
完成多项复杂的数据处理任务。DWR提供图形化界面，方便用户直观便捷的构建数据处理流程，同时提供了预置的算子和自定义函数能力，覆盖数据处理的各种场景。预置算子的详细介绍，请参见官方算子一览。用户在自行开发自定义函数时，函数的输入参数和输出参数需要遵守自定义函数开发规范。 DWR支持
自定义函数开发规范 用户在自行开发自定义函数时，函数的输入参数和输出参数需要遵守本节的开发规范。 自定义函数的编译方式请参考FunctionGraph的《开发指南》。 函数输入参数 工作流执行自定义函数时，函数输入参数的JSON格式的结构体和环境变量的定义如下： 表1 函数输入的JSON格式体
处理数据 入门流程 示例：图片质量变换
算子市场即DWR提供的算子库，提供方包括华为和第三方。 华为算子的能力源是华为云数据处理相关的云服务，如媒体处理MPC、图像识别Image等，DWR将云服务提供的各种数据处理能力通过函数生成算子并在算子市场发布。 第三方算子是基于DWR的算子注册能力，由第三方开发者创建，专业人员审核发布的公共算子，您也可以将自
什么是数据工坊 数据工坊（Data Workroom，DWR）是一款近数据处理服务，通过易用的数据处理工作流编排和开放生态的数据处理算子，能够在云上实现图像、视频、文档、图片等数据处理业务。 如图1所示，DWR主要对外提供开放的算子库和数据处理引擎。 算子库包含由DWR提供的华为
数据处理 数据处理介绍 创建工作流 启动工作流
放的API注册到云市场中即可获取便捷的收费管理，上线指导参见API上线云市场。 开发算子：DWR的算子执行依赖FunctionGraph服务提供执行引擎，算子提供方在发布算子前需按照函数开发规范开发算子。 测试算子：算子提供方在发布前可通过自定义算子方式完成DWR的alpha调试
图解数据工坊服务
括华为和第三方。 华为云自有算子的能力源是华为云数据处理相关的云服务，如媒体处理MPC、图像识别Image等，DWR将云服务提供的各种数据处理能力通过函数生成算子并在算子市场发布。 第三方算子是基于DWR的算子注册能力，由第三方开发者创建，专业人员审核发布的公共算子，您也可以将自
算子费用主要由三部分组成：OBS API调用费、FunctionGraph函数及函数工作流费、算子费。 表1 计费项 计费项 说明 OBS API调用费 算子请求OBS API的调用费。 通过算子对数据进行处理，都会涉及到对OBS API的调用，每调用一次API都计算一次请求次数
产品优势 数据处理方式对比 传统线下处理方式：硬件为用户自建IDC，软件为自研或集成商的数据处理软件，通过数据处理软件完成数据处理。 传统云上处理方式：使用云上存储服务和数据处理服务，数据写入存储服务后，再调用数据处理服务接口实现数据处理。 云上近数据处理方式：使用云上存储服务和
算子市场。 算子开发完成后，您可以参考抽帧截图（自定义算子）来验证算子。 图1 算子发布流程 约束与限制 当前发布算子功能仅支持IAM主账号。 前提条件 算子已开发完成，开发规范参考自定义函数开发规范，建议使用Go、Python开发（算子的冷启动效果更好）。 算子已在华为云云市场
算子市场。 算子开发完成后，您可以参考抽帧截图（自定义算子）来验证算子。 图1 算子发布流程 约束与限制 当前发布算子功能仅支持IAM主账号。 前提条件 算子已开发完成，开发规范参考自定义函数开发规范，建议使用Go、Python开发（算子的冷启动效果更好）。 算子已在华为云云商店
“无限循环”触发工作流如何处理？ 由于DWR只能按触发器前缀、后缀、事件源类型等条件触发工作流，所以可能存在出现“无限循环”的场景。如果出现“无限循环”，只能先删除桶的事件触发器。主要有以下两个场景： 场景1：触发器源桶和函数执行输出目标桶是同一个桶的无限循环 案例1：使用DWR内置函数触发“无限循环”
对象存储服务OBS 格式转换 是 对象存储服务OBS 图片暗水印 是 数据安全中心DSC 视频处理 视频解析 是 媒体处理服务MPC 抽帧截图 是 媒体处理服务MPC 媒资转码 否 媒体处理服务MPC 消息通知 DIS消息通知 NA 数据接入服务DIS SMN消息通知 NA 消息通知服务SMN
并且与其他数据处理服务相互配合进行数据处理。主要分以下两个方面： 第一次使用DWR时，需要在控制台上根据提示对DWR进行统一授权。 授权内容： 授权DWR使用您的FunctionGraph服务和DWR工作流中使用到的其他数据处理服务，用以创建函数和通过函数调用其他数据处理服务的A
工作流主要是对算子进行编排，这样DWR就可以按照用户编排的工作流对OBS中的数据进行自动化处理（如视频解析、图片转码、视频截图等）。 操作步骤 登录管理控制台。在左侧导航栏上方，单击，选择“存储 > 数据工坊DWR”。 进入DWR页面。 在左侧导航栏选中“工作流”，进入“工作流”
测试算子功能 当算子功能代码开发完毕后，可以在DWR工作流中使用或进行上线前的测试。本节主要介绍如何使用DWR的自定义工作流来测试算子的功能。 测试算子功能 登录DWR控制台， 在工作流页面点击“创建工作流”进入工作流编排界面。 将左侧“自定义”算子拖拽至编排区域。 鼠标单击各流
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
