检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
什么是数据工坊 产品优势 应用场景 使用限制 计费说明 权限管理 与其他服务的关系 基本概念 03 使用 通过DWR提供的近数据处理能力,您可以对OBS内存储的数据按照编排的工作流进行自动化处理(如解析、转码、截图等)。 算子管理 算子市场 发布算子 华为算子一览 数据处理 数据处理简介
什么是数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现图像、视频、文档、图片等数据处理业务。 如图1所示,DWR主要对外提供开放的算子库和数据处理引擎。 算子库包含由DWR提供的华为
创建独立的IAM用户进行权限管理,您可以跳过本章节,不影响您使用DWR服务的其它功能。 IAM是华为云提供权限管理的基础服务,无需付费即可使用,您只需要为您账号中的资源进行付费。关于IAM的详细介绍,请参见IAM产品介绍。 DWR权限 默认情况下,管理员创建的IAM用户没有任何权
算子管理 算子市场介绍 发布算子 官方算子一览
权限管理 创建用户并授权使用DWR DWR自定义策略
人员审核发布的公共算子,您也可以将自己创建的算子发布为第三方算子,开放给所有华为云用户使用,详见发布算子。 图1 算子市场 父主题: 算子管理
"location":"cn-north-4" } } ] } } 操作步骤 登录管理控制台。在左侧导航栏上方,单击,选择“存储 > 数据工坊DWR”。 进入DWR页面。 在左侧导航栏选中“发布算子”,进入“发布算子”页面。
put format_bucket 图片处理输出桶 图像标签 模板作用:能准确识别自然图片中数百种场景、上千种通用物体及其属性。让智能相册管理等功能更加直观。该模板实际调用的是Image服务的图像标签接口。 表16 图像标签属性配置说明 属性类别 参数名称 参数说明 基本属性 名称
late", "dwr:workflow:forbidMyActionTemplate", ], }] } 父主题: 权限管理
创建用户并授权使用DWR 如果您需要对您所拥有的DWR服务进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建IAM
output_filenames = output_filenames if user_data is not None: self.user_data = user_data if watermarks is not None:
实施步骤 前提条件 创建依赖包。 登录FunctionGraph控制台,在依赖包管理页面点击“创建依赖包”。 填写相关参数,完成依赖包创建。 在“函数列表”页面单击“创建函数”完成函数创建。 其中委托需要创建能够授权工作流FunctionGraph访问OBS的权限,创建方式参考创建委托。
您需要确保账户有足够金额。 关于DWR收费标准,请参见计费说明。 关于充值,请参见如何给华为云账户充值。 创建IAM用户 IAM用户由账号管理员创建并管理,可以确保账号及资源的安全性,有关IAM的详细介绍请参见IAM用户。此处介绍如何创建一个具有DWR访问权限的IAM用户。如果您不需要使用IAM用户,可以略过此部分内容。
方便用户进行调用。 API上线云市场:云市场提供API调用权限的购买入口,算子提供方将步骤1中开放的API注册到云市场中即可获取便捷的收费管理,上线指导参见API上线云市场。 开发算子:DWR的算子执行依赖FunctionGraph服务提供执行引擎,算子提供方在发布算子前需按照函数开发规范开发算子。
子,函数化调用,路径短。 易用:开发运维效率提升50%+ 图形化编排:拖拉式智能模块化操作,免代码。 一站式运维:可视化统一运维平台,降低管理难度。 开放:算子库能力无上限 丰富算子生态:可调用海量华为云自有算子及第三方算子,免开发。 开放式自助注册:第三方算子轻松上架,引流增收。
容错性好:通过内置错误重试能力,自动重试失败或超时的任务,对不同类型错误做出不同响应。同时提供工作流异常或失败后的恢复接口,从失败的位置继续执行工作流。 权限说明 请参见权限管理。 约束与限制 请参见使用限制。 使用方式 DWR支持通过控制台、API配置数据处理的工作流和事件触发器。 支持的使用方式 参考文档 控制台
流”页面 在工作流列表中,单击工作流“MediaMetadata”操作列的“运行记录”可以查看函数流的执行记录。详细介绍参见函数流执行历史管理。
工作流主要是对算子进行编排,这样DWR就可以按照用户编排的工作流对OBS中的数据进行自动化处理(如视频解析、图片转码、视频截图等)。 操作步骤 登录管理控制台。在左侧导航栏上方,单击,选择“存储 > 数据工坊DWR”。 进入DWR页面。 在左侧导航栏选中“工作流”,进入“工作流”页面。第一次进入时需要进行“统一授权”。
定桶内什么数据在执行某类操作后开始执行工作流。 前提条件 已完成工作流创建。 约束与限制 一个桶支持绑定10个事件触发器。 操作步骤 登录管理控制台。在左侧导航栏上方,单击,选择“存储 > 数据工坊DWR”。 进入DWR页面。 在左侧导航栏选择“工作流”,进入“工作流”页面。 在
”页面 在工作流列表中,单击工作流“MediaTranscode”操作列的“运行记录”可以查看函数流的执行记录。详细介绍参见函数流执行历史管理。