检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
最新动态 本文介绍了数据工坊各特性版本的功能发布和对应的文档动态,欢迎体验。 序号 功能名称 功能描述 阶段 相关文档 1 数据工坊全新公测上线 数据工坊通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现各种灵活的数据处理业务。 公测 什么是数据工坊
提供算子入参的参数列表,可配置静态参数或动态参数,动态参数需要从Inputs参数中根据定义的Key取值。 权限版本 华为云统一身份认证(IAM)的权限版本,1.0版本以服务为粒度,提供有限的服务相关角色用于授权。1.1版本支持细粒度授权,可以精确到具体服务的操作、资源以及请求条件等。 单击右下角的“提交审核”。
bucketname" }, "object": { "get_input": "$.inputs.object" } } 权限1.1版本: [ { "action": [ "obs:bucket:HeadBucket", "obs:bucket:ListB
工作流执行自定义函数时,函数输入参数的JSON格式的结构体和环境变量的定义如下: 表1 函数输入的JSON格式体 名称 是否必选 参数类型 说明 execution_name 是 String 工作流实例名称。 graph_name 是 String 工作流名称。 Records 是 Array 工作流触发的事件源事件消息。
ObjectRemoved:表示删除对象。 Delete:指定对象版本号删除对象。 DeleteMarkerCreated:不指定对象版本号删除对象。 多个事件源类型可以作用于同一个目标对象,例如:同时选择“事件源类型”复选框中的Put、Copy、Delete等方法作用于某目标对象
提供算子入参的参数列表,可配置静态参数或动态参数,动态参数需要从Inputs参数中根据定义的Key取值。 权限版本 华为云统一身份认证(IAM)的权限版本,1.0版本以服务为粒度,提供有限的服务相关角色用于授权。1.1版本支持细粒度授权,可以精确到具体服务的操作、资源以及请求条件等。 单击右下角的“提交审核”。
展示。工作流创建完成后,还需要创建事件触发器,或通过API触发,工作流才能工作。 表1 工作流基本信息 参数 说明 工作流名称 - 工作流类型 DWR支持同步和异步两种数据处理方式 匿名 对同步工作流设置是否可匿名访问 同步工作流支持异步启动。 支持同步工作流的自营算子参见官方算子一览。
该抽帧截图算子目前暂不支持中文对象。 方案架构 1. 用户使用对象域名向OBS发送请求 2. DWR收到请求同步执行位于FunctionGraph的视频截图抽帧算子实例,调用MPC服务 3. MPC服务完成抽帧截图,将结果写回租户桶 4. DWR读取租户桶并将结果返回给用户 方案优势 无需额外代码编写,快速构建视频抽帧截图应用。
对于需要对大量图片文件进行压缩,快速发布上线的场景,可以使用DWR可视化的质量变换工作流来完成任务,帮助用户提升图片处理效率,节省内容发布时间。 实现流程 该实例通过创建触发器的方式异步启动工作流,实现流程为: 在OBS服务中创建桶 在DWR服务中创建工作流 在DWR服务中创建事件触发器 在OBS服务中上传文件触发工作流执行
如何在算子中获得AK/SK 如何通过算子访问OBS 操作步骤 登录FunctionGraph控制台创建python函数,创建详情参见创建事件函数。 函数类型选择“事件函数”,该类型函数可以被事件触发,在DWR的使用过程中为OBS的事件,例如上传对象事件,下载对象事件等。 代码上传方式选择“默认代码”。创建
业务流程复杂,复杂度高 图形化编排工具,一站式运维平台,复杂度低 DWR的优势 高效:数据处理时间缩短60% 近数据计算:调用算子提供商设定好的云服务器API来执行算子,函数化调用,路径短。 易用:开发运维效率提升50%+ 图形化编排:拖拉式智能模块化操作,免代码。 一站式运维:可视化统一运维平台,降低管理难度。
查询工作流实例详情 √ √ 查询工作流详情 √ √ 查询华为云系统算子 √ √ 查询公共算子 √ √ 查询用户第三方算子 √ √ 查询第三方算子服务协议是否同意 √ √ 获取DWR工作流是否开通授权 √ √ 更新工作流参数 √ x 更新用户第三方算子 √ x 恢复的工作流实例 √ x
函数模板的提供方。 错误处理 可定义不同类型错误发生时的重试次数、重试间隔,以及重试失败后跳转到的目标任务。 错误类型包括:匹配所有、执行失败、权限不合法、参数不合法、函数不存在、请求太频繁、函数不可用、函数异常 动态参数 resize_m 设置缩略的类型。取值为lfit、mfit、fi
“无限循环”触发工作流如何处理? 由于DWR只能按触发器前缀、后缀、事件源类型等条件触发工作流,所以可能存在出现“无限循环”的场景。如果出现“无限循环”,只能先删除桶的事件触发器。主要有以下两个场景: 场景1:触发器源桶和函数执行输出目标桶是同一个桶的无限循环 案例1:使用DWR内置函数触发“无限循环”
Aug 2020 12:38:10 GMT body(stream body/json body) 表1 请求参数说明 参数 是否必选 参数类型 描述 x-workflow-graph-name 是 字符串 工作流名称和运行参数,比如:x-workflow-graph-name=gramname/p1_v1
建数据处理流程。 功能强大:支持华为云各种数据处理服务的工作流处理能力。 容错性好:通过内置错误重试能力,自动重试失败或超时的任务,对不同类型错误做出不同响应。同时提供工作流异常或失败后的恢复接口,从失败的位置继续执行工作流。 权限说明 请参见权限管理。 约束与限制 请参见使用限制。
录 tar: 抽帧截图图片是否需要压缩, 选择否 sync: 是否同步处理图片,目前只有按照时间点截图支持同步 type: 抽帧截图的采样类型,选择按照时间点截图 format:输出截图格式,目前只支持jpg格式 max_length: 截图最长边的尺寸,填入480 width:输出截图的宽度,填入0
触发器名称:“test-trans” 关联工作流:“trans-teat-meta” 事件源存储桶:“dataplus-test” 事件源类型:“ObjectCreated” 前缀:“perfix” 后缀:“suffix” 上传对象。 上传对象时带上自定义对象元数据,具体代码如下: