检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发算子代码 DWR算子开发运行依赖于FunctionGraph平台,本节将使用python开发一个下载OBS对象的算子,python使用详情参见Python函数开发指南。通过对该示例算子开发方式的说明,能够帮助算子开发者快速适应开发流程。通过本节将学到以下内容: 算子代码的入口结构
自定义函数开发规范 用户在自行开发自定义函数时,函数的输入参数和输出参数需要遵守本节的开发规范。 自定义函数的编译方式请参考FunctionGraph的《开发指南》。 函数输入参数 工作流执行自定义函数时,函数输入参数的JSON格式的结构体和环境变量的定义如下: 表1 函数输入的JSON格式体
算子市场。 算子开发完成后,您可以参考抽帧截图(自定义算子)来验证算子。 图1 算子发布流程 约束与限制 当前发布算子功能仅支持IAM主账号。 前提条件 算子已开发完成,开发规范参考自定义函数开发规范,建议使用Go、Python开发(算子的冷启动效果更好)。 算子已在华为云云商店
算子市场。 算子开发完成后,您可以参考抽帧截图(自定义算子)来验证算子。 图1 算子发布流程 约束与限制 当前发布算子功能仅支持IAM主账号。 前提条件 算子已开发完成,开发规范参考自定义函数开发规范,建议使用Go、Python开发(算子的冷启动效果更好)。 算子已在华为云云市场
如何测试算子 当算子功能代码开发完毕后,可以在DWR工作流中使用自定义工作流进行测试。请参考测试算子功能。
“无限循环”触发工作流如何处理? 由于DWR只能按触发器前缀、后缀、事件源类型等条件触发工作流,所以可能存在出现“无限循环”的场景。如果出现“无限循环”,只能先删除桶的事件触发器。主要有以下两个场景: 场景1:触发器源桶和函数执行输出目标桶是同一个桶的无限循环 案例1:使用DWR内置函数触发“无限循环”
近数据计算:调用算子提供商设定好的云服务器API来执行算子,函数化调用,路径短。 易用:开发运维效率提升50%+ 图形化编排:拖拉式智能模块化操作,免代码。 一站式运维:可视化统一运维平台,降低管理难度。 开放:算子库能力无上限 丰富算子生态:可调用海量华为云自有算子及第三方算子,免开发。 开放式自助注册:第三方算子轻松上架,引流增收。
发布算子 当完成算子开发、算子在工作流中的测试后,即可在DWR上将算子发布到算子市场。 操作步骤 在DWR控制台的“发布算子”页面,单击界面右上角的“发布公共算子”。 配置算子基本信息。 表1 配置基本信息 参数 说明 算子名称 不能与本用户已有的算子重名。 算子提供方 - 算子描述
算子库包含由DWR提供的华为自有算子和第三方开发者提供的第三方算子。 华为自有算子的能力源是华为云数据处理相关的云服务,如媒体处理MPC、图像识别Image等,DWR将云服务提供的各种数据处理能力通过函数生成算子集成在算子库中。 第三方算子是基于DWR的算子注册能力,由第三方开发者创建,专业人员审核发
像识别Image等,DWR将云服务提供的各种数据处理能力通过函数生成算子并在算子市场发布。 第三方算子是基于DWR的算子注册能力,由第三方开发者创建,专业人员审核发布的公共算子,您也可以将自己创建的算子发布为第三方算子,开放给所有华为云用户使用,详见发布算子。 图1 算子市场 父主题:
测试算子功能 当算子功能代码开发完毕后,可以在DWR工作流中使用或进行上线前的测试。本节主要介绍如何使用DWR的自定义工作流来测试算子的功能。 测试算子功能 登录DWR控制台, 在工作流页面点击“创建工作流”进入工作流编排界面。 将左侧“自定义”算子拖拽至编排区域。 鼠标单击各流
一个事件触发器可以设置多个前缀或者后缀吗? 不可以。 不过,用户可以为该工作流创建多条事件触发器来实现支持多个前缀或者后缀,当前一个桶支持绑定10个触发器。 例如对于媒资转码工作流,用户需要对后缀mp4和mov两种格式的视频进行数据处理。用户需要为该给工作流创建两条触发器,一条用
通过IAM,您可以在华为云账号中给员工创建IAM用户,并授权控制他们对华为云资源的访问范围。例如您的员工中有负责软件开发的人员,您希望他们拥有DWR的使用权限,但是不希望他们拥有删除DWR等高危操作的权限,那么您可以使用IAM为开发人员创建用户,通过授予仅能使用DWR,但是不允许删除DWR的权限,控制他们对DWR资源的使用范围。
放的API注册到云市场中即可获取便捷的收费管理,上线指导参见API上线云市场。 开发算子:DWR的算子执行依赖FunctionGraph服务提供执行引擎,算子提供方在发布算子前需按照函数开发规范开发算子。 测试算子:算子提供方在发布前可通过自定义算子方式完成DWR的alpha调试
第三方算子是基于DWR的算子注册能力,由第三方开发者创建,专业人员审核发布的公共算子,您也可以将自己创建的算子发布为第三方算子,开放给所有华为云用户使用。 发布区域:北京四、上海一、上海二、广州、新加坡 算子市场 华为算子一览 发布算子 所有开发者均可以创建用于数据处理的算子,审核通过
提供了预置的算子和自定义函数能力,覆盖数据处理的各种场景。预置算子的详细介绍,请参见官方算子一览。用户在自行开发自定义函数时,函数的输入参数和输出参数需要遵守自定义函数开发规范。 DWR支持异步和同步两种方式启动工作流,其中同步方式支持直接返回数据: 通过事件触发器启动工作流(异步方式)
发布下载OBS对象的算子 案例概述 开发算子代码 测试算子功能 发布算子
相关参考 自定义函数开发规范
析、转码、截图等)。 算子管理 算子市场 发布算子 华为算子一览 数据处理 数据处理简介 创建工作流 创建事件触发器 相关参考 自定义函数开发规范 02 入门 从0到1,带您快速上手数据工坊DWR的使用方式。 准备 准备工作 数据处理 入门流程 示例:使用DWR压缩图片 算子管理
与其他服务的关系 DWR数据处理的数据源是华为云存储服务,DWR提供的华为云自有算子是通过函数生成,且能力源是华为云数据处理相关的云服务。因此,DWR与其他服务的关系如表1所示。 表1 DWR与其他云服务的关系 服务类别 服务名称 交互关系 存储服务 对象存储服务(Object Storage