已找到以下 44 条记录
产品选择
数据工坊 DWR
没有找到结果,请重新输入
产品选择
数据工坊 DWR
产品选择
没有找到结果,请重新输入
  • 修订记录 - 数据工坊 DWR

    修订记录 发布日期 修订记录 2022-02-14 第一次正式发布。

  • 开发算子代码 - 数据工坊 DWR

    上下文对象保存,需要注意是这里AK/SK属于函数配置中委托,故AK/SK权限与该委托中授权范围相同,如果需访问OBS,用户需要对委托进行授权并配置到FunctionGraph函数配置项中。 桶名以及对象名通过event进行获取。如图2所示,桶名、对象等信息保存在even

  • 修订记录 - 数据工坊 DWR

    修订记录 发布日期 修订记录 2023-05-06 第三次正式发布。 本次变更说明如下: 使用限制,新增不支持并行文件系统限制。 2022-04-30 第二次正式发布。 本次变更说明如下: 增加IAM细粒度授权。 2022-02-14 第一次正式发布。

  • 测试算子功能 - 数据工坊 DWR

    输出值与测试算子的输出结果相同,表示算子已经完成测试,具备发布条件。具备发布条更重要是动态参数存在让用户拥有了与算子交互接口。 动态参数中桶名称、对象是由用户输入参数,而触发器中桶名称、对象则是面向触发器使用,二者不可混淆。 父主题: 发布下载OBS对象算子

  • DWR自定义策略 - 数据工坊 DWR

    DWR自定义策略 如果系统预置DWR权限,不满足您授权要求,可以创建自定义策略。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。 JSON视图创建自定义策略:可

  • 实施步骤 - 数据工坊 DWR

    ionGraph访问OBS权限,创建方式参考创建委托。 函数创建成功后进入函数详情页添加依赖包。 在“代码依赖包”模块点击“添加依赖包”。 选择私有依赖包,添加步骤1中创建好依赖包 依赖添加成功后,在FunctionGraph控制台添加算子代码并保存部署。参考示例如下: # -*-

  • 与其他服务关系 - 数据工坊 DWR

    与其他服务关系 DWR数据处理数据源是华为云存储服务,DWR提供华为云自有算子是通过函数生成,且能力源是华为云数据处理相关云服务。因此,DWR与其他服务关系如表1所示。 表1 DWR与其他云服务关系 服务类别 服务名称 交互关系 存储服务 对象存储服务(Object Storage

  • 发布下载OBS对象算子 - 数据工坊 DWR

    发布下载OBS对象算子 案例概述 开发算子代码 测试算子功能 发布算子

  • 媒资转码 - 数据工坊 DWR

    在OBS服务控制台创建两个桶,一个用于上传待处理数据对象,一个用于存储处理后数据对象。桶详细介绍参见创建桶。 数据输入桶:“piccomp” 数据处理后输出桶:“piccomp-output” 这里创建两个桶是为了防止无限循环。因为处理后数据如果放在源桶,又跟事件触发器执行条件匹配,会继续触发工

  • 权限管理 - 数据工坊 DWR

    度,提供有限服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖其他角色,才能正确完成业务。角色并不能满足用户精细化授权要求,无法完全达到企业权限最小化安全管控要求。 策略:IAM最新提供一种细粒度授权能力,可以精

  • 案例概述 - 数据工坊 DWR

    测试算子:算子提供方在发布前可通过自定义算子方式完成DWRalpha调试,可有效降低发布后故障率,测试结果也是算子发布时重要审核项。 发布算子等待审核:算子提供方完成步骤4中测试后,进入到DWR控制台界面,根据提示信息提供必要资料提交审核。 本次实践将重点描述步骤3、4、5完成算子开发、测试、发布。 算子执行原理

  • 发布算子 - 数据工坊 DWR

    "obs:object:GetObject" ], "resource": [] } ] 单击右下角“提交审核”。 审核通过后,算子将发布至算子市场。您可以过滤第三方算子提供方,查看您发布算子。 父主题: 发布下载OBS对象算子

  • 示例:图片质量变换 - 数据工坊 DWR

    图片压缩。 触发器执行存在一定延时,大概5分钟生效。 图3 上传文件 查看图片压缩效果 压缩后图片存放在piccomp-output桶output文件夹中。如图4所示,图片大小均有变小,实现了图片压缩。 图4 压缩图片 (可选)查看运行记录 在DWR控制台左侧导航栏选择“工作流”,进入“工作流”页面

  • 视频解析 - 数据工坊 DWR

    这里创建两个桶是为了防止无限循环。因为处理后数据如果放在源桶,又跟事件触发器执行条件匹配,会继续触发工作流执行。详细介绍参见了解更多无限循环原因。 OBSDWR工作流进行授权。以使得DWR可以对OBS内存储数据,按照您指定顺序(如解析/转码/审核等)自动化处理。 进入“视频解析“算子工作流

  • 创建用户并授权使用DWR - 数据工坊 DWR

    根据企业用户职能,设置不同访问权限,以达到用户之间权限隔离。 将DWR资源委托给更专业、高效其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如果华为云账号已经能满足您要求,不需要创建独立IAM用户,您可以跳过本章节,不影响您使用DWR服务其它功能。

  • 入门流程 - 数据工坊 DWR

    在算子市场查找需要的算子,了解已有算子功能。 步骤三:创建工作流 创建工作流算子进行编排。 步骤四:启动工作流 当前DWR支持同步和异步两种方式启动工作流。 创建事件触发器异步启动 使用API同步启动 使用API异步启动 步骤五:查看运行记录 查看历史运行记录,了解工作流执行情况。 父主题: 处理数据

  • 数据工坊 DWR - 数据工坊 DWR

    发布之前请按要求提供算子基本信息、上传算子所需文件、配置算子参数。 发布区域:北京四、上海一、上海二、广州、新加坡 发布算子 OBS 2.0支持创建工作流 工作流主要是算子进行编排,这样DWR就可以按照用户编排算子顺序OBS中数据进行自动化处理(如视频解析、图片转码、视频截图等)。

  • 数据处理介绍 - 数据工坊 DWR

    DWR如何实现数据处理 DWR提供近数据处理能力,可以对OBS内存储数据,按照用户编排工作流进行自动化处理(如解析、转码、截图等)。 DWR基于函数工作流FunctionGraph函数能力,将复杂业务处理逻辑编排为工作流,通过事件触发器或API驱动,自动化完成多项复杂数据处理任务。DW

  • 创建工作流 - 数据工坊 DWR

    C中开启桶授权,详情请参见权限说明。 鼠标单击各流程图标下方小圆圈并长按拖拽,将工作流完整串联起来。 当前仅支持串行工作流。 图1 串联后完整工作流 单击右上角保存”,填写工作流基本信息,如表1所示。 创建完成所有同区域工作流,都将在工作流列表展示。工作流创建完成后,还

  • 实施步骤 - 数据工坊 DWR

    按照指定时间点截图并输出最长边尺寸为480棘突,参数修改如下: bucket: 抽帧截图结果输出桶名,如图所示填为test-workflow-sh1 output: 抽帧截图结果在输出桶下输出路径如图中所示输出图片路径为桶tes-workflow-sh1output目录 tar: 抽帧截图图片是否需要压缩,