检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 算子发布流程 约束与限制 当前发布算子功能仅支持IAM主账号。 前提条件 算子已开发完成,开发规范参考自定义函数开发规范,建议使用Go、Python开发(算子的冷启动效果更好)。 算子已在华为云云市场上架,上架指导参考发布API类商品操作指导。 操作步骤 登录管理控制台。
图1 算子发布流程 约束与限制 当前发布算子功能仅支持IAM主账号。 前提条件 算子已开发完成,开发规范参考自定义函数开发规范,建议使用Go、Python开发(算子的冷启动效果更好)。 算子已在华为云云商店上架,上架指导参考发布API类商品操作指导。
发布算子 当完成算子开发、算子在工作流中的测试后,即可在DWR上将算子发布到算子市场。 操作步骤 在DWR控制台的“发布算子”页面,单击界面右上角的“发布公共算子”。 配置算子基本信息。 表1 配置基本信息 参数 说明 算子名称 不能与本用户已有的算子重名。 算子提供方 - 算子描述
测试算子功能 当算子功能代码开发完毕后,可以在DWR工作流中使用或进行上线前的测试。本节主要介绍如何使用DWR的自定义工作流来测试算子的功能。 测试算子功能 登录DWR控制台, 在工作流页面点击“创建工作流”进入工作流编排界面。 将左侧“自定义”算子拖拽至编排区域。
发布下载OBS对象的算子 案例概述 开发算子代码 测试算子功能 发布算子
功能总览 功能总览 全部 算子市场 发布算子 创建工作流 启动工作流 API 算子市场 算子市场即DWR提供的算子库,提供方包括华为和第三方。
最新动态 本文介绍了数据工坊各特性版本的功能发布和对应的文档动态,欢迎体验。 序号 功能名称 功能描述 阶段 相关文档 1 数据工坊全新公测上线 数据工坊通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现各种灵活的数据处理业务。 公测 什么是数据工坊
基本概念 工作流 工作流是DWR运行单位,其中可以包含一个或多个算子,客户可通过加入不同算子到工作流中实现高度自由化的数据处理功能。 算子 算子是DWR中的执行单位,是一个具有输入输出的完成功能模块。算子既有华为云提供的内置官方算子,也有经过华为云审核后的第三方算子。
算子市场介绍 算子市场即为DWR提供的算子库,提供方包括华为和第三方。 华为云自有算子的能力源是华为云数据处理相关的云服务,如媒体处理MPC、图像识别Image等,DWR将云服务提供的各种数据处理能力通过函数生成算子并在算子市场发布。 第三方算子是基于DWR的算子注册能力,由第三方开发者创建
示例:图片质量变换 场景介绍 对于需要对大量图片文件进行压缩,快速发布上线的场景,可以使用DWR可视化的质量变换工作流来完成任务,帮助用户提升图片处理效率,节省内容发布时间。 实现流程 该实例通过创建触发器的方式异步启动工作流,实现流程为: 在OBS服务中创建桶 在DWR服务中创建工作流
准备 准备工作 数据处理 入门流程 示例:使用DWR压缩图片 算子管理 发布算子 04 实践 您可以通过使用DWR的数据处理功能解决实际业务场景中的诸多问题。
方案架构 方案优势 用户自定义算子,无需依赖额外服务,功能更灵活。 父主题: 抽帧截图(自定义算子)
案例概述 场景介绍 DWR平台除了提供面向使用者的平台功能,同时也支持合作伙伴将自有功能包装成算子发布到DWR平台上,帮助伙伴快速搭建用户的数据处理工厂。 算子发布流程 图1 算子发布流程图 部署服务:算子提供方需要将自身服务部署在华为云,同时对外提供API,方便用户进行调用。
当前发布算子功能仅支持IAM主账号。
该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全的控制华为云资源的访问。 通过IAM,您可以在华为云账号中给员工创建IAM用户,并授权控制他们对华为云资源的访问范围。
接下来我们将在其中添加“下载OBS对象功能”让函数功能更加丰富。 图5 测试结果 添加OBS下载逻辑(涉及AK/SK获取) 下载OBS的方式参考下载对象,示例采用二进制下载方式,主要代码如下所示。 如图6所示,执行结果中已经获取到目标对象的大小 size: 292685。
如何测试算子 当算子功能代码开发完毕后,可以在DWR工作流中使用自定义工作流进行测试。请参考测试算子功能。
如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用DWR服务的其它功能。 本章节为您介绍对用户授权的方法,操作流程如图1所示。
功能强大:支持华为云各种数据处理服务的工作流处理能力。 容错性好:通过内置错误重试能力,自动重试失败或超时的任务,对不同类型错误做出不同响应。同时提供工作流异常或失败后的恢复接口,从失败的位置继续执行工作流。 权限说明 请参见权限管理。 约束与限制 请参见使用限制。
(可选)步骤二:浏览算子市场 在算子市场查找需要的算子,了解已有算子的功能。 步骤三:创建工作流 创建工作流对算子进行编排。 步骤四:启动工作流 当前DWR支持同步和异步两种方式启动工作流。