已找到以下 56 条记录
AI智能搜索
产品选择
数据工坊 DWR
没有找到结果,请重新输入
产品选择
数据工坊 DWR
在搜索结果页开启AI智能搜索
开启
产品选择
没有找到结果,请重新输入
  • 数据工坊 DWR - 数据工坊 DWR

    创建工作 OBS 2.0支持启动工作 DWR支持异步和同步两种方式启动工作。 通过事件触发器启动工作为异步方式。 通过API启动工作同步和异步都支持。 发布区域:北京四、上海一、上海二、广州、新加坡 通过事件触发器异步启动工作 通过API异步启动工作 通过API同步启动工作流

  • 入门流程 - 数据工坊 DWR

    在算子市场查找需要的算子,了解已有算子的功能。 步骤三:创建工作 创建工作对算子进行编排。 步骤四:启动工作 当前DWR支持同步和异步两种方式启动工作。 创建事件触发器异步启动 使用API同步启动 使用API异步启动 步骤五:查看运行记录 查看历史运行记录,了解工作的执行情况。 父主题: 处理数据

  • 什么是数据工坊 - 数据工坊 DWR

    可以将自己创建的算子发布为第三方算子,开放给所有华为云用户使用。 数据处理引擎的核心是DWR提供的工作图形化编排能力,用户可以通过图形化的界面,将任意算子编排到工作中。通过事件触发器或API驱动,DWR将根据您定义的工作自动进行数据处理。 图1 DWR架构示意图

  • 开发算子代码 - 数据工坊 DWR

    如图2所示,默认代码中只有一个handler函数,入参为两个: event :触发事件信息,OBS事件触发的函数(DWR中称为算子)中event包含桶名,对象名。event也是自定义信息的承载体,DWR用户输入内容通过event中的动态参数(dynamic_source)保存。 context

  • 通过API异步启动工作 - 数据工坊 DWR

    通过API异步启动工作 DWR支持通过API异步启动已有工作,详情参见API异步启动工作。 父主题: 启动工作

  • 计费说明 - 数据工坊 DWR

    算子费用主要由三部分组成:OBS API调用费、FunctionGraph函数及函数工作费、算子费。 表1 计费项 计费项 说明 OBS API调用费 算子请求OBS API的调用费。 通过算子对数据进行处理,都会涉及到对OBS API的调用,每调用一次API都计算一次请求次数。对象存

  • 与其他服务的关系 - 数据工坊 DWR

    OBS作为DWR数据处理的数据源,当上传至OBS或存储在OBS的数据产生的事件满足触发器规则时,DWR将自动启动关联的工作流进行数据处理。 函数服务 函数工作(FunctionGraph) DWR中由华为云提供的自有算子均是利用数据处理服务的API,通过FunctionGraph封装而成。 数据处理服务

  • 权限管理 - 数据工坊 DWR

    x DWR工作开通授权 √ x 同意第三方算子服务协议 √ x 列举工作 √ √ 列举华为云系统算子 √ √ 列举公共算子 √ √ 列举用户第三方算子 √ √ 禁用用户第三方算子 √ x 创建工作 √ x 删除工作 √ x 删除用户第三方算子 √ x 创建用户第三方算子 √

  • 案例概述 - 数据工坊 DWR

    平台上,帮助伙伴快速搭建用户的数据处理工厂。 算子发布流程 图1 算子发布流程图 部署服务:算子提供方需要将自身服务部署在华为云,同时对外提供API,方便用户进行调用。 API上线云市场:云市场提供API调用权限的购买入口,算子提供方将步骤1中开放的API注册到云市场中即可获取便

  • 资源和成本 - 数据工坊 DWR

    资源和成本规划 资源 资源说明 数量 每月费用 OBS 算子请求OBS API。 1 通过算子对数据进行处理,都会涉及到对OBS API的调用,每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取,收取详情参见OBS请求费用说明。 FunctionGraph函数

  • 发布算子 - 数据工坊 DWR

    算子已在华为云云商店上架,上架指导参考发布API类商品操作指导。 开发的新算子如果要支持同步工作,需要保证同步工作最后一个算子返回方式为以下的一种: 返回方式1:字符串数据 { "execution_name":"84a3dd2bd67f43aa9b98cdd74604ca68", //工作实例名称

  • 发布算子 - 数据工坊 DWR

    当完成算子开发、算子在工作中的测试后,即可在DWR上将算子发布到算子市场。 操作步骤 在DWR控制台的“发布算子”页面,单击界面右上角的“发布公共算子”。 配置算子基本信息。 表1 配置基本信息 参数 说明 算子名称 不能与本用户已有的算子重名。 算子提供方 - 算子描述 - API链接 填写华为云云市场已上架的算子链接。

  • 创建用户并授权使用DWR - 数据工坊 DWR

    ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限:在“服务列表”中选择数据工坊,进入DWR工作页面,单击右上角“创建工作”,尝试创建工作,如果无法创建(假设当前权限仅包含DWR

  • 数据处理 - 数据工坊 DWR

    数据处理 数据处理介绍 创建工作 启动工作

  • 官方算子一览 - 数据工坊 DWR

    FunctionGraph服务的操作指导请参见《函数工作流用户指南》中“创建并初始化函数”章节的内容。 下拉列表中仅展示与DWR工作同区域且同项目的函数。工作所属区域为创建工作的桶所属区域。例如工作A是在桶A中创建的,则桶A的区域即为工作A的区域。 动态参数 若自定义函数中存在动态参

  • 发布算子 - 数据工坊 DWR

    所有开发者均可以创建用于数据处理的算子,审核通过后发布至DWR算子市场,开放给所有华为云用户使用。 当算子被华为云用户使用之后,算子发布者将会获得相应的收益,详情参见计费说明。 算子从API上线、开发、到发布的整个流程如图1所示,本节主要介绍如何使用DWR发布已开发好的算子到算子市场。

  • DWR自定义策略 - 数据工坊 DWR

    式的策略内容。 具体创建步骤请参见创建自定义策略。本章为您介绍常用的DWR自定义策略样例。 DWR自定义策略样例 示例1:授权用户创建、删除、执行工作 1 2 3 4 5 6 7 8 9 10 11 12 13 { "Version": "1.1", "Statement":

  • 资源和成本 - 数据工坊 DWR

    资源和成本规划 资源 资源说明 数量 每月费用 OBS 算子请求OBS API。 1 通过算子对数据进行处理,都会涉及到对OBS API的调用,每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取,收取详情参见OBS请求费用说明。 FunctionGraph函数

  • 如何测试算子 - 数据工坊 DWR

    如何测试算子 当算子功能代码开发完毕后,可以在DWR工作中使用自定义工作流进行测试。请参考测试算子功能。

  • 算子管理 - 数据工坊 DWR

    算子管理 算子市场介绍 发布算子 官方算子一览