检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
案例概述 场景介绍 DWR平台除了提供面向使用者的平台功能,同时也支持合作伙伴将自有功能包装成算子发布到DWR平台上,帮助伙伴快速搭建用户的数据处理工厂。 算子发布流程 图1 算子发布流程图 部署服务:算子提供方需要将自身服务部署在华为云,同时对外提供API,方便用户进行调用。
aph平台会自动生成一个python代码。 图1 创建函数界面 编辑python代码。 如图2所示,默认代码中只有一个handler函数,入参为两个: event :触发事件信息,OBS事件触发的函数(DWR中称为算子)中event包含桶名,对象名。event也是自定义信息的承载
图形化编排工具,一站式运维平台,复杂度低 DWR的优势 高效:数据处理时间缩短60% 近数据计算:调用算子提供商设定好的云服务器API来执行算子,函数化调用,路径短。 易用:开发运维效率提升50%+ 图形化编排:拖拉式智能模块化操作,免代码。 一站式运维:可视化统一运维平台,降低管理难度。
注册华为账号并开通华为云,再完成实名认证 如果您已有一个华为账号,请跳到下一个任务。如果您还没有华为账号,请参考以下步骤创建。 根据提示信息完成注册。 注册成功后,系统会自动跳转至您的个人信息界面。 关于注册华为账号并开通华为云,请参见注册华为账号并开通华为云。 请参考实名认证完成个人或企业账号实名认证。
打开控制台,在“服务搜索“框内搜索“DWR/数据工坊“并选择加载建议信息 选择“视频解析“算子 单击“创建工作流“ 在DWR服务中创建工作流 将“视频解析”算子拖拽至编排区域进行串联编排,并填写相关属性配置信息,如图1所示。 bucket为视频处理后的输出桶,这里设置为“piccomp-output”。
配置算子基本信息。 表1 配置基本信息 参数 说明 算子名称 不能与本用户已有的算子重名。 算子提供方 - 算子描述 - API链接 填写华为云云市场已上架的算子链接。 算子分类 根据算子市场上提供的分类进行选择。 算子logo 支持主流图片格式 图2 算子基本信息 请参考模板上传所需文件。
配置算子基本信息。 表1 配置基本信息 参数 说明 算子名称 算子名称不能与本用户已有的算子重名。 算子提供方 - 算子描述 - API链接 填写华为云云商店已上架的算子链接。 算子分类 根据算子市场上提供的分类进行选择。 算子logo 支持主流图片格式。 图2 算子基本信息 上传算子文件。
配置算子基本信息。 表1 配置基本信息 参数 说明 算子名称 不能与本用户已有的算子重名。 算子提供方 - 算子描述 - API链接 填写华为云云市场已上架的算子链接。 算子分类 根据算子市场上提供的分类进行选择。 算子logo 支持主流图片格式 图1 算子基本信息 配置算子参数。
发布算子 所有开发者均可以创建用于数据处理的算子,审核通过后发布至DWR算子市场,开放给所有华为云用户使用。 发布之前请按要求提供算子的基本信息、上传算子所需文件、配置算子参数。 发布区域:北京四、上海一、上海二、广州、新加坡 发布算子 OBS 2.0支持创建工作流 工作流主要是对
打开控制台,在“服务搜索“框内搜索“DWR/数据工坊“并选择加载建议信息 选择“媒资转码“算子 单击“创建工作流“ 在DWR服务中创建工作流 将“媒资转码”算子拖拽至编排区域进行串联编排,并填写相关属性配置信息,如图1所示。 bucket为视频处理后的输出桶,这里设置为“piccomp-output”。
串联后的完整工作流 单击右上角的“保存”,填写工作流基本信息,如表1所示。 创建完成的所有同区域工作流,都将在工作流列表展示。工作流创建完成后,还需要创建事件触发器,或通过API触发,工作流才能工作。 表1 工作流基本信息 参数 说明 工作流名称 - 工作流类型 DWR支持同步和异步两种数据处理方式
audio_process = audio_process def handler(event, context): # 获取上传桶、对象信息 bucketName = event['Records'][0]['obs']['bucket']['name'] objectKey
登录DWR控制台,在“工作流”页面单击“创建工作流”,进入“工作流编排”页面。 将“质量变换”算子拖拽至编排区域进行串联编排,并填写相关属性配置信息,如图1所示。 quality_q代表图片按照原图的q%进行压缩,取值范围为[1,100],可根据实际情况配置。 quality_buck
`json:"x-obs-request-id"` OBSID2 string `json:"x-obs-id-2"` } //OBSInfo OBS信息 type OBSInfo struct { Version string `json:"Version"` ConfigurationID
与其他服务的关系 DWR数据处理的数据源是华为云存储服务,DWR提供的华为云自有算子是通过函数生成,且能力源是华为云数据处理相关的云服务。因此,DWR与其他服务的关系如表1所示。 表1 DWR与其他云服务的关系 服务类别 服务名称 交互关系 存储服务 对象存储服务(Object Storage
权限管理 如果您需要对华为云上购买的DWR资源,为企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功
成长地图 | 华为云 数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现各种灵活的数据处理业务。 文档 立即体验 成长地图 由浅入深,带您玩转DWR 01 了解 了解华为云数据工坊DW
权限管理 创建用户并授权使用DWR DWR自定义策略
修订记录 发布日期 修订记录 2022-02-14 第一次正式发布。
图解数据工坊服务