检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的数据按照编排的工作流进行自动化处理(如解析、转码、截图等)。 算子管理 算子市场 发布算子 华为算子一览 数据处理 数据处理简介 创建工作流 创建事件触发器 相关参考 自定义函数开发规范 02 入门 从0到1,带您快速上手数据工坊DWR的使用方式。 准备 准备工作 数据处理 入门流程
示例流程 图1 给用户授予DWR权限流程 创建用户组并授权 在IAM控制台创建用户组,并授予数据工坊只读权限“DWR ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,
由媒体处理服务MPC进行收费,详情查看计费说明。 操作步骤 创建解析对象元数据并封装MPC转码任务的函数。 在FunctionGraph创建函数,选择“Python 2.7”运行时语言,并为函数配置具有访问OBS权限的委托,最后配置函数环境变量:region_id=cn-north-4。创建函数请参见《函数工作流服务用户指南》。
当前仅支持串行工作流。 图1 串联后的完整工作流 单击右上角的“保存”,填写工作流基本信息,如表1所示。 创建完成的所有同区域工作流,都将在工作流列表展示。工作流创建完成后,还需要创建事件触发器,或通过API触发,工作流才能工作。 表1 工作流基本信息 参数 说明 工作流名称 - 工作流类型
第三方算子是基于DWR的算子注册能力,由第三方开发者创建,专业人员审核发布的公共算子,您也可以将自己创建的算子发布为第三方算子,开放给所有华为云用户使用。 发布区域:北京四、上海一、上海二、广州、新加坡 算子市场 华为算子一览 发布算子 所有开发者均可以创建用于数据处理的算子,审核通过后发布至D
服务提供的各种数据处理能力通过函数生成算子并在算子市场发布。 第三方算子是基于DWR的算子注册能力,由第三方开发者创建,专业人员审核发布的公共算子,您也可以将自己创建的算子发布为第三方算子,开放给所有华为云用户使用,详见发布算子。 图1 算子市场 父主题: 算子管理
DWR支持通过控制台、API配置数据处理的工作流和事件触发器。 支持的使用方式 参考文档 控制台 创建工作流 创建事件触发器 API 请参见《数据工坊API参考》。 前提条件 已创建工作流。 父主题: 数据处理
处理数据 入门流程 示例:图片质量变换
该参数不支持修改,默认为创建事件触发器的桶。 事件源类型 使事件触发器生效的事件源类型。目前,OBS支持以下事件源类型: ObjectCreated:表示所有创建对象的操作,包含Put、Post、Copy对象以及合并段。 Put:使用Put方法上传对象。 Post:使用Post方法上传对象。 Copy:使用Copy方法复制对象。
流程一览 操作步骤 在OBS服务中创建桶 在OBS服务控制台创建两个桶,一个用于上传待处理的数据对象,一个用于存储处理后的数据对象。桶的详细介绍参见创建桶。 数据输入桶:“piccomp” 数据处理后输出桶:“piccomp-output” 这里创建两个桶是为了防止无限循环。因为处
前提条件 创建依赖包。 登录FunctionGraph控制台,在依赖包管理页面点击“创建依赖包”。 填写相关参数,完成依赖包创建。 在“函数列表”页面单击“创建函数”完成函数创建。 其中委托需要创建能够授权工作流FunctionGraph访问OBS的权限,创建方式参考创建委托。 函数创建成功后进入函数详情页添加依赖包。
如果系统预置的DWR权限,不满足您的授权要求,可以创建自定义策略。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。 JSON视图创建自定义策略:可以在选择策略模板后,根据具体
图解数据工坊服务
该实例通过创建触发器的方式异步启动工作流,实现流程为: 在OBS服务中创建桶 在DWR服务中创建工作流 在DWR服务中创建事件触发器 在OBS服务中上传文件触发工作流执行 使用限制 当前支持使用的区域为:北京四、上海一、上海二、广州、新加坡。 操作步骤 在OBS服务中创建桶 在OB
您首先需要在FunctionGraph导入自定义算子需要的函数依赖包。然后需要在FunctionGraph创建自定义抽帧截图函数。之后需要在DWR工作流编排界面完成配置动态参数,创建同步工作流。最后触发工作流进行验证。 图1 操作流程 父主题: 抽帧截图(自定义算子)
一个事件触发器可以设置多个前缀或者后缀吗? 不可以。 不过,用户可以为该工作流创建多条事件触发器来实现支持多个前缀或者后缀,当前一个桶支持绑定10个触发器。 例如对于媒资转码工作流,用户需要对后缀mp4和mov两种格式的视频进行数据处理。用户需要为该给工作流创建两条触发器,一条用于触发mp4格式的数据处理,一条用于触发mov格式的数据处理。
使用限制 当前仅支持OBS对象桶,不支持并行文件系统。 当前仅支持创建串行的工作流。 一个事件触发器仅支持关联一个工作流,一个工作流可同时被多个事件触发器关联。 当前暂不支持创建重名工作流,即使工作流被删除后,也不能再创建与之重名的工作流。 同一桶内的触发器名称不允许重复。 工作流及
数据处理 数据处理介绍 创建工作流 启动工作流
流程一览 操作步骤 在OBS服务中创建桶 在OBS服务控制台创建两个桶,一个用于上传待处理的数据对象,一个用于存储处理后的数据对象。桶的详细介绍参见创建桶。 数据输入桶:“piccomp” 数据处理后输出桶:“piccomp-output” 这里创建两个桶是为了防止无限循环。因为处
ctionGraph页面创建。 FunctionGraph服务的操作指导请参见《函数工作流用户指南》中“创建并初始化函数”章节的内容。 下拉列表中仅展示与DWR工作流同区域且同项目的函数。工作流所属区域为创建工作流的桶所属区域。例如工作流A是在桶A中创建的,则桶A的区域即为工作流A的区域。