检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云图说合集 云图说系列,是您了解华为云的必备利器 对象存储专题 汇聚云图说、视频、最佳实践,带您玩转华为云OBS 智能客服 您好!我是有问必答知识渊博的的智能问答机器人,有问题欢迎随时求助哦! 社区求助 华为云社区是华为云用户的聚集地。这里有来自容器服务的技术牛人,为您解决技术难题。
算子市场 算子市场即DWR提供的算子库,提供方包括华为和第三方。 华为算子的能力源是华为云数据处理相关的云服务,如媒体处理MPC、图像识别Image等,DWR将云服务提供的各种数据处理能力通过函数生成算子并在算子市场发布。 第三方算子是基于DWR的算子注册能力,由第三方开发者创建
Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现图像、视频、文档、图片等数据处理业务。 如图1所示,DWR主要对外提供开放的算子库和数据处理引擎。 算子库包含由DWR提供的华为自有算子和第三方开发者提供的第三方算子。 华为自有算子的能力源是华为云数据
DWR如何实现数据处理 DWR提供的近数据处理能力,可以对OBS内存储的数据,按照用户编排的工作流进行自动化处理(如解析、转码、截图等)。 DWR基于函数工作流FunctionGraph的函数能力,将复杂的业务处理逻辑编排为工作流,通过事件触发器或API驱动,自动化完成多项复杂的数据处理任务。DW
示例:图片质量变换 场景介绍 对于需要对大量图片文件进行压缩,快速发布上线的场景,可以使用DWR可视化的质量变换工作流来完成任务,帮助用户提升图片处理效率,节省内容发布时间。 实现流程 该实例通过创建触发器的方式异步启动工作流,实现流程为: 在OBS服务中创建桶 在DWR服务中创建工作流
JSON视图创建自定义策略:可以在选择策略模板后,根据具体需求编辑策略内容;也可以直接在编辑框内编写JSON格式的策略内容。 具体创建步骤请参见创建自定义策略。本章为您介绍常用的DWR自定义策略样例。 DWR自定义策略样例 示例1:授权用户创建、删除、执行工作流 1 2 3 4 5 6 7 8
与其他服务的关系 DWR数据处理的数据源是华为云存储服务,DWR提供的华为云自有算子是通过函数生成,且能力源是华为云数据处理相关的云服务。因此,DWR与其他服务的关系如表1所示。 表1 DWR与其他云服务的关系 服务类别 服务名称 交互关系 存储服务 对象存储服务(Object Storage
API的调用,每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取,收取详情参见OBS请求费用说明。 FunctionGraph函数 算子使用FunctionGraph函数工作流。 1 通过算子对数据进行处理,可能会使用到函数工作流的资源,
研或集成商的数据处理软件,通过数据处理软件完成数据处理。 传统云上处理方式:使用云上存储服务和数据处理服务,数据写入存储服务后,再调用数据处理服务接口实现数据处理。 云上近数据处理方式:使用云上存储服务和DWR的近数据处理能力,数据写入存储服务后,自动触发DWR编排的工作流完成数据处理。
发布下载OBS对象的算子 案例概述 开发算子代码 测试算子功能 发布算子
算子使用FunctionGraph函数工作流的资源费用。 通过算子对数据进行处理,会使用到函数工作流的资源,比如算子执行时长,函数工作流会根据资源使用情况进行收费,收费详情参见函数工作流计费说明。 算子费 算子本身的费用。 第三方算子在发布之前需要先在云市场上架,云市场上算子的收费标准由算子发布者决定。
算子市场介绍 算子市场即为DWR提供的算子库,提供方包括华为和第三方。 华为云自有算子的能力源是华为云数据处理相关的云服务,如媒体处理MPC、图像识别Image等,DWR将云服务提供的各种数据处理能力通过函数生成算子并在算子市场发布。 第三方算子是基于DWR的算子注册能力,由第三方开发者
"obs:object:GetObject" ], "resource": [] } ] 单击右下角的“提交审核”。 审核通过后,算子将发布至算子市场。您可以过滤第三方的算子提供方,查看您发布的算子。 父主题: 发布下载OBS对象的算子
lfit:指定一个w和h的矩形,将图片进行等比缩放,取在矩形内最大的图片。 mfit:指定一个w和h的矩形,将图片进行等比缩放,取在矩形延伸区域的最小图片。 fill:指定一个w和h的矩形,将图片进行等比缩放,取在延伸区域的最小图片,并进行居中剪切。即将mfit缩略类型的图片进行居中剪裁。
测试算子:算子提供方在发布前可通过自定义算子方式完成DWR的alpha调试,可有效降低发布后的故障率,测试结果也是算子发布时的重要审核项。 发布算子等待审核:算子提供方完成步骤4中的测试后,进入到DWR控制台界面,根据提示信息提供必要的资料提交审核。 本次实践将重点描述步骤3、4、5完成算子的开发、测试、发布。 算子执行原理
触发事件信息,OBS事件触发的函数(DWR中称为算子)中event包含桶名,对象名。event也是自定义信息的承载体,DWR用户输入内容通过event中的动态参数(dynamic_source)保存。 context :函数的上下文信息,例如函数执行时委托的AK/SK,Token等。更多内容可参考FunctionGraph开发文档。
保账号及资源的安全性,有关IAM的详细介绍请参见IAM用户。此处介绍如何创建一个具有DWR访问权限的IAM用户。如果您不需要使用IAM用户,可以略过此部分内容。 在华为云官网,单击页面右上角的“控制台”,使用注册账号登录控制台。 在“控制台”页面,鼠标移动至右上方的用户名,在下拉列表中选择“统一身份认证”。
输出值与测试算子的输出结果相同,表示算子已经完成测试,具备发布条件。具备发布条更重要的是动态参数的存在让用户拥有了与算子交互的接口。 动态参数中的桶名称、对象是由用户输入的参数,而触发器中的桶名称、对象则是面向触发器使用,二者不可混淆。 父主题: 发布下载OBS对象的算子
未来几年时间,数据量将会呈数倍增长趋势,海量数据的快速处理是企业数据变现的核心诉求。DWR提供的高效、开放、易用的近数据处理能力,让视频处理、图片审核、文档压缩、灾难防治、数据搜索和推荐、办公协同、基因测序等场景的海量数据快速产生价值。 DWR的应用场景包括但不限于以下典型场景。 表1 DWR典型应用场景
视频解析 场景介绍 解析视频的元数据信息,包括:视频时长、视频格式、码率等。用于视频播放时获取时长,分辨率展示 等等。 流程一览 操作步骤 在OBS服务中创建桶 在OBS服务控制台创建两个桶,一个用于上传待处理的数据对象,一个用于存储处理后的数据对象。桶的详细介绍参见创建桶。 数据输入桶:“piccomp”