检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发布算子 操作场景 所有开发者均可以创建用于数据处理的算子,审核通过后发布至DWR算子市场,开放给所有华为云用户使用。 当算子被华为云用户使用之后,算子发布者将会获得相应的收益,详情参见计费说明。 算子从API上线、开发、到发布的整个流程如图1所示,本节主要介绍如何使用DWR发布已开发好的算子到算子市场。
入门流程 当需要使用DWR服务对OBS内存储的数据自动进行多项复杂任务(如解析、转码、截图等)处理时,建议参考表1逐步操作。 表1 DWR使用流程简介 操作步骤 操作说明 步骤一:准备工作 注册华为云账号,并开通数据工坊DWR服务。 (可选)步骤二:浏览算子市场 在算子市场查找需要的算子,了解已有算子的功能。
应用场景 未来几年时间,数据量将会呈数倍增长趋势,海量数据的快速处理是企业数据变现的核心诉求。DWR提供的高效、开放、易用的近数据处理能力,让视频处理、图片审核、文档压缩、灾难防治、数据搜索和推荐、办公协同、基因测序等场景的海量数据快速产生价值。 DWR的应用场景包括但不限于以下典型场景。
基本概念 工作流 工作流是DWR运行单位,其中可以包含一个或多个算子,客户可通过加入不同算子到工作流中实现高度自由化的数据处理功能。 算子 算子是DWR中的执行单位,是一个具有输入输出的完成功能模块。算子既有华为云提供的内置官方算子,也有经过华为云审核后的第三方算子。用户可以根据
发布算子 当完成算子开发、算子在工作流中的测试后,即可在DWR上将算子发布到算子市场。 操作步骤 在DWR控制台的“发布算子”页面,单击界面右上角的“发布公共算子”。 配置算子基本信息。 表1 配置基本信息 参数 说明 算子名称 不能与本用户已有的算子重名。 算子提供方 - 算子描述
创建用户并授权使用DWR 如果您需要对您所拥有的DWR服务进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建IAM
实施步骤 前提条件 创建依赖包。 登录FunctionGraph控制台,在依赖包管理页面点击“创建依赖包”。 填写相关参数,完成依赖包创建。 在“函数列表”页面单击“创建函数”完成函数创建。 其中委托需要创建能够授权工作流FunctionGraph访问OBS的权限,创建方式参考创建委托。
测试算子功能 当算子功能代码开发完毕后,可以在DWR工作流中使用或进行上线前的测试。本节主要介绍如何使用DWR的自定义工作流来测试算子的功能。 测试算子功能 登录DWR控制台, 在工作流页面点击“创建工作流”进入工作流编排界面。 将左侧“自定义”算子拖拽至编排区域。 鼠标单击各流