检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
最新动态 本文介绍了数据工坊各特性版本的功能发布和对应的文档动态,欢迎体验。 序号 功能名称 功能描述 阶段 相关文档 1 数据工坊全新公测上线 数据工坊通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现各种灵活的数据处理业务。 公测 什么是数据工坊
操作流程 您首先需要在FunctionGraph导入自定义算子需要的函数依赖包。然后需要在FunctionGraph创建自定义抽帧截图函数。之后需要在DWR工作流编排界面完成配置动态参数,创建同步工作流。最后触发工作流进行验证。 图1 操作流程 父主题: 抽帧截图(自定义算子)
发布算子 当完成算子开发、算子在工作流中的测试后,即可在DWR上将算子发布到算子市场。 操作步骤 在DWR控制台的“发布算子”页面,单击界面右上角的“发布公共算子”。 配置算子基本信息。 表1 配置基本信息 参数 说明 算子名称 不能与本用户已有的算子重名。 算子提供方 - 算子描述
实施步骤 前提条件 创建依赖包。 登录FunctionGraph控制台,在依赖包管理页面点击“创建依赖包”。 填写相关参数,完成依赖包创建。 在“函数列表”页面单击“创建函数”完成函数创建。 其中委托需要创建能够授权工作流FunctionGraph访问OBS的权限,创建方式参考创建委托
方案概述 应用场景 需要对视频抽帧截图时,在不编写额外代码的情况下使用抽帧截图算子对视频进行指定时间点截帧。 约束与限制 该抽帧截图算子目前暂不支持中文对象。 方案架构 1. 用户使用对象域名向OBS发送请求 2. DWR收到请求同步执行位于FunctionGraph的视频截图抽帧算子实例
测试算子功能 当算子功能代码开发完毕后,可以在DWR工作流中使用或进行上线前的测试。本节主要介绍如何使用DWR的自定义工作流来测试算子的功能。 测试算子功能 登录DWR控制台, 在工作流页面点击“创建工作流”进入工作流编排界面。 将左侧“自定义”算子拖拽至编排区域。 鼠标单击各流程图标下方的小圆圈并长按拖拽
发布算子 操作场景 所有开发者均可以创建用于数据处理的算子,审核通过后发布至DWR算子市场,开放给所有华为云用户使用。 当算子被华为云用户使用之后,算子发布者将会获得相应的收益,详情参见计费说明。 算子从API上线、开发、到发布的整个流程如图1所示,本节主要介绍如何使用DWR发布已开发好的算子到算子市场
发布算子 操作场景 所有开发者均可以创建用于数据处理的算子,审核通过后发布至DWR算子市场,开放给所有华为云用户使用。 当算子被华为云用户使用之后,算子发布者将会获得相应的收益,详情参见计费说明。 算子从API上线、开发、到发布的整个流程如图1所示,本节主要介绍如何使用DWR发布已开发好的算子到算子市场
案例概述 场景介绍 DWR平台除了提供面向使用者的平台功能,同时也支持合作伙伴将自有功能包装成算子发布到DWR平台上,帮助伙伴快速搭建用户的数据处理工厂。 算子发布流程 图1 算子发布流程图 部署服务:算子提供方需要将自身服务部署在华为云,同时对外提供API,方便用户进行调用。 API
官方算子一览 本小节介绍华为云自有服务提供的各类算子的参数配置说明。 不同区域支持的算子可能不同,请以控制台实际为准。 表1 华为云官方算子一览 分类 模板名称 是否支持同步工作流 算子提供方 图像处理 图像标签 是 图像识别服务Image 人脸检测 是 人脸识别服务FRS 人脸搜索
创建工作流 操作场景 工作流主要是对算子进行编排,这样DWR就可以按照用户编排的工作流对OBS中的数据进行自动化处理(如视频解析、图片转码、视频截图等)。 操作步骤 登录管理控制台。在左侧导航栏上方,单击,选择“存储 > 数据工坊DWR”。 进入DWR页面。 在左侧导航栏选中“工作流
实施步骤 准备工作 点击开通mpc服务授权。 选择打开委托授权或桶授权。 委托授权:开启后,媒体处理服务将拥有您所有桶的读写权限,子账号不支持委托权限。 桶授权:开启后,媒体处理服务仅拥有已授权桶的读写权限。 操作步骤 登录DWR控制台,在“工作流”页面单击右上角“创建工作流”,进入创建工作流界面
开发算子代码 DWR算子开发运行依赖于FunctionGraph平台,本节将使用python开发一个下载OBS对象的算子,python使用详情参见Python函数开发指南。通过对该示例算子开发方式的说明,能够帮助算子开发者快速适应开发流程。通过本节将学到以下内容: 算子代码的入口结构
创建视频转码工作流 场景介绍 针对使用DWR做视频转码的场景,如果需要每个对象转码任务的参数不同,可通过给对象增加对象元数据(例如:x-obs-meta-transcode-commands: base64(commands)),再使用DWR集成自定义函数的方式来实现视频转码。 具体的工作流视图如图
自定义函数开发规范 用户在自行开发自定义函数时,函数的输入参数和输出参数需要遵守本节的开发规范。 自定义函数的编译方式请参考FunctionGraph的《开发指南》。 函数输入参数 工作流执行自定义函数时,函数输入参数的JSON格式的结构体和环境变量的定义如下: 表1 函数输入的JSON