检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在OBS服务中创建桶 在OBS服务控制台创建两个桶,一个用于上传待处理的数据对象,一个用于存储处理后的数据对象。桶的详细介绍参见创建桶。 数据输入桶:“piccomp” 数据处理后输出桶:“piccomp-output” 这里创建两个桶是为了防止无限循环。因为处理后的数据如果放在
在OBS服务中创建桶 在OBS服务控制台创建两个桶,一个用于上传待处理的数据对象,一个用于存储处理后的数据对象。桶的详细介绍参见创建桶。 数据输入桶:“piccomp” 数据处理后输出桶:“piccomp-output” 这里创建两个桶是为了防止无限循环。因为处理后的数据如果放在
一个桶支持绑定10个触发器。 例如:对于媒资转码工作流,用户需要对后缀mp4和mov两种格式的视频进行数据处理。用户需要为该给工作流创建两个触发器,一个用于触发mp4格式的数据处理,一个用于触发mov格式的数据处理。
由于DWR只能按触发器前缀、后缀、事件源类型等条件触发工作流,所以可能存在出现“无限循环”的场景。如果出现“无限循环”,只能先删除桶的事件触发器。主要有以下两个场景: 场景1:触发器源桶和函数执行输出目标桶是同一个桶的无限循环 案例1:使用DWR内置函数触发“无限循环” 用户创建一条工作流work
1 Host: bucket.obs.cn-north-4.myhuaweicloud.com Authorization: OBS H4IPJX0TQTHTHEBQQCEC:sc2PM13Wlfcoc/YZLK0MwsI2Zpo= Date: Thu, 27 Aug 2020 12:38:10
在OBS服务中创建桶 在OBS服务控制台创建两个桶,一个用于上传待处理的数据对象,一个用于存储处理后的数据对象。桶的详细介绍参见创建桶。 数据输入桶:“piccomp” 数据处理后输出桶:“piccomp-output” 这里创建两个桶是为了防止无限循环。因为处理后的数据如果放在
配置DWR动态参数(dynamic_source) 上文算子测试时我们通过dynamic_source获取了两个参数值bucketname以及object。在工作流中,需要指明dynamic_source,并配置两个参数,否则算子将无法找到数值内容。点击“新增动态参数”,并添加动态参数,配置结果如图2所示。
"tasks":[ { "output":{ // 同步返回的输出文件地址:桶名、对象名、区域 "bucket":"bucketname",
数据接入服务DIS SMN消息通知 NA 消息通知服务SMN 其他 事件延迟 NA NA 自定义 NA NA 人脸比对 模板作用:人脸比对是将两个人脸进行比对,来判断是否为同一个人,返回比对置信度。如果传入的图片中包含多个人脸,选取最大的人脸进行比对。该模板实际调用的是FRS服务的人脸比对接口。
算子执行原理 图2 算子执行原理 动态参数:算子提供方定义的用户输入,最终由Event传递真实值。例如,云市场 appkey,算子回调函数地址。 Event :算子的触发事件信息,例如OBS对象信息,桶名,动态参数。 父主题: 发布下载OBS对象的算子
tCreated包含了Put、Post、Copy和CompleteMultipartUpload,如果选择了ObjectCreated,则不能再选择Put、Post、Copy或CompleteMultipartUpload。同理如果选择了ObjectRemoved,则不能再选择D
成长地图 | 华为云 数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现各种灵活的数据处理业务。 文档 立即体验 成长地图 由浅入深,带您玩转DWR 01 了解 了解华为云数据工坊DW
} }, "requestParameters": { "sourceIPAddress": "x.x.x.x"//请求的源IP }, "responseElements": { "x-obs-id-2":
平台会自动生成一个python代码。 图1 创建函数界面 编辑python代码。 如图2所示,默认代码中只有一个handler函数,入参为两个: event :触发事件信息,OBS事件触发的函数(DWR中称为算子)中event包含桶名,对象名。event也是自定义信息的承载体,D
t", "obs:bucket:ListBucketMultipartUploads", "obs:object:AbortMultipartUpload", "obs:object:PutObject"
数据处理介绍 DWR如何实现数据处理 DWR提供的近数据处理能力,可以对OBS内存储的数据,按照用户编排的工作流进行自动化处理(如解析、转码、截图等)。 DWR基于函数工作流FunctionGraph的函数能力,将复杂的业务处理逻辑编排为工作流,通过事件触发器或API驱动,自动化
入门流程 当需要使用DWR服务对OBS内存储的数据自动进行多项复杂任务(如解析、转码、截图等)处理时,建议参考表1逐步操作。 表1 DWR使用流程简介 操作步骤 操作说明 步骤一:准备工作 注册华为云账号,并开通数据工坊DWR服务。 (可选)步骤二:浏览算子市场 在算子市场查找需要的算子,了解已有算子的功能。
"obs:bucket:HeadBucket", "obs:bucket:ListBucketMultipartUploads", "obs:object:AbortMultipartUpload", "obs:object:PutObject", "obs:object:GetObject"
执行工作流 √ x 授权 使用DWR之前需要进行相关授权,才能保证用户正常使用DWR,并且与其他数据处理服务相互配合进行数据处理。主要分以下两个方面: 第一次使用DWR时,需要在控制台上根据提示对DWR进行统一授权。 授权内容: 授权DWR使用您的FunctionGraph服务和D
t", "obs:bucket:ListBucketMultipartUploads", "obs:object:AbortMultipartUpload", "obs:object:PutObject"