检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
测试算子:算子提供方在发布前可通过自定义算子方式完成DWR的alpha调试,可有效降低发布后的故障率,测试结果也是算子发布时的重要审核项。 发布算子等待审核:算子提供方完成步骤4中的测试后,进入到DWR控制台界面,根据提示信息提供必要的资料提交审核。 本次实践将重点描述步骤3、4、5完成算子的开发、测试、发布。 算子执行原理
研或集成商的数据处理软件,通过数据处理软件完成数据处理。 传统云上处理方式:使用云上存储服务和数据处理服务,数据写入存储服务后,再调用数据处理服务接口实现数据处理。 云上近数据处理方式:使用云上存储服务和DWR的近数据处理能力,数据写入存储服务后,自动触发DWR编排的工作流完成数据处理。
与其他服务的关系 DWR数据处理的数据源是华为云存储服务,DWR提供的华为云自有算子是通过函数生成,且能力源是华为云数据处理相关的云服务。因此,DWR与其他服务的关系如表1所示。 表1 DWR与其他云服务的关系 服务类别 服务名称 交互关系 存储服务 对象存储服务(Object Storage
DWR如何实现数据处理 DWR提供的近数据处理能力,可以对OBS内存储的数据,按照用户编排的工作流进行自动化处理(如解析、转码、截图等)。 DWR基于函数工作流FunctionGraph的函数能力,将复杂的业务处理逻辑编排为工作流,通过事件触发器或API驱动,自动化完成多项复杂的数据处理任务。DW
不允许删除DWR的权限,控制他们对DWR资源的使用范围。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户进行权限管理,您可以跳过本章节,不影响您使用DWR服务的其它功能。 IAM是华为云提供权限管理的基础服务,无需付费即可使用,您只需要为您账号中的资源进行付费。关于
媒资转码”函数的转码输出桶为桶A。然后,在桶A上配置触发器关联工作流workflowA。如果自定义函数输出的对象前缀或后缀匹配触发器triggerA的前后缀条件(比如:前缀和后缀不配置,或者对象满足触发器条件),则转码的输出会再次触发工作流,从而导致用户工作流不停的执行,出现“无限循环”。
当前暂不支持创建重名工作流,即使工作流被删除后,也不能再创建与之重名的工作流。 同一桶内的触发器名称不允许重复。 工作流及工作流中使用的FunctionGraph、数据处理服务、消息通知服务、OBS桶等均需要在相同区域的默认项目下。 细粒度授权不支持企业项目。 一个桶支持绑定10个事件触发器。 当前发布算子功能仅支持IAM主账号。
Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现图像、视频、文档、图片等数据处理业务。 如图1所示,DWR主要对外提供开放的算子库和数据处理引擎。 算子库包含由DWR提供的华为自有算子和第三方开发者提供的第三方算子。 华为自有算子的能力源是华为云数据
算子市场 算子市场即DWR提供的算子库,提供方包括华为和第三方。 华为算子的能力源是华为云数据处理相关的云服务,如媒体处理MPC、图像识别Image等,DWR将云服务提供的各种数据处理能力通过函数生成算子并在算子市场发布。 第三方算子是基于DWR的算子注册能力,由第三方开发者创建
在OBS服务中上传文件触发工作流执行 使用限制 当前支持使用的区域为:北京四、上海一、上海二、广州、新加坡。 操作步骤 在OBS服务中创建桶 在OBS服务控制台创建两个桶,一个用于上传待处理的数据对象,一个用于存储处理后的数据对象。桶的详细介绍参见创建桶。 数据输入桶:“piccomp”
云计算知识哪家强,云上小课来开讲! 云图说合集 云图说系列,是您了解华为云的必备利器 对象存储专题 汇聚云图说、视频、最佳实践,带您玩转华为云OBS 智能客服 您好!我是有问必答知识渊博的的智能问答机器人,有问题欢迎随时求助哦! 社区求助 华为云社区是华为云用户的聚集地。这里有来自容器服务的技术牛人,为您解决技术难题。
当前仅支持作用于OBS桶上,用户可在触发器中定义工作流的触发方式。 异步启动工作流 调用用户的工作流,并且客户端不关注请求调用的结果,服务端收到请求后将请求排队,排队成功后请求就返回,服务端在空闲的情况下会逐个处理排队的请求。 同步启动工作流 调用用户的工作流,并且客户端请求需要
算子市场介绍 算子市场即为DWR提供的算子库,提供方包括华为和第三方。 华为云自有算子的能力源是华为云数据处理相关的云服务,如媒体处理MPC、图像识别Image等,DWR将云服务提供的各种数据处理能力通过函数生成算子并在算子市场发布。 第三方算子是基于DWR的算子注册能力,由第三方开发者
算子已开发完成,开发规范参考自定义函数开发规范,建议使用Go、Python开发(算子的冷启动效果更好)。 算子已在华为云云商店上架,上架指导参考发布API类商品操作指导。 开发的新算子如果要支持同步工作流,需要保证同步工作流最后一个算子返回方式为以下的一种: 返回方式1:字符串数据 { "execu
提供算子入参中动态参数对应的参数值,其Key值需要与动态参数中保持一致。 动态参数(可选) 提供算子入参的参数列表,可配置静态参数或动态参数,动态参数需要从Inputs参数中根据定义的Key取值。 权限版本 华为云统一身份认证(IAM)的权限版本,1.0版本以服务为粒度,提供有限的服务相关角色用于授权。1
根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将DWR资源委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用DWR服务的其它功能。
DWR自定义策略 如果系统预置的DWR权限,不满足您的授权要求,可以创建自定义策略。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。 JSON视图创建自定义策略:可
视频解析 场景介绍 解析视频的元数据信息,包括:视频时长、视频格式、码率等。用于视频播放时获取时长,分辨率展示 等等。 流程一览 操作步骤 在OBS服务中创建桶 在OBS服务控制台创建两个桶,一个用于上传待处理的数据对象,一个用于存储处理后的数据对象。桶的详细介绍参见创建桶。 数据输入桶:“piccomp”
在OBS服务控制台创建两个桶,一个用于上传待处理的数据对象,一个用于存储处理后的数据对象。桶的详细介绍参见创建桶。 数据输入桶:“piccomp” 数据处理后输出桶:“piccomp-output” 这里创建两个桶是为了防止无限循环。因为处理后的数据如果放在源桶,又跟事件触发器执行的条件匹配,会继续触发工
算子使用FunctionGraph函数工作流的资源费用。 通过算子对数据进行处理,会使用到函数工作流的资源,比如算子执行时长,函数工作流会根据资源使用情况进行收费,收费详情参见函数工作流计费说明。 算子费 算子本身的费用。 第三方算子在发布之前需要先在云市场上架,云市场上算子的收费标准由算子发布者决定。