检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为云控制台操作步骤 前提条件 云上VPC及其子网已经创建完成。 操作步骤 登录华为云管理控制台。 选择“网络 > 虚拟专用网络”。 配置VPN网关。 选择“虚拟专用网络 > 企业版-VPN网关”,单击“站点入云VPN网关”的页签后,再单击“创建站点入云VPN网关”。
华为云控制台操作步骤 前提条件 云上VPC及其子网已经创建完成。 操作步骤 登录华为云管理控制台。 选择“网络 > 虚拟专用网络”。 配置VPN网关。 选择“虚拟专用网络 > 企业版-VPN网关”,单击“站点入云VPN网关”的页签后,再单击“创建站点入云VPN网关”。
华为云控制台操作步骤 前提条件 云上VPC及其子网已经创建完成。 操作步骤 登录华为云管理控制台。 选择“网络 > 虚拟专用网络”。 配置VPN网关。 选择“虚拟专用网络 > 企业版-VPN网关”,单击“站点入云VPN网关”的页签后,再单击“创建站点入云VPN网关”。
华为云控制台操作步骤 前提条件 云上VPC及其子网已经创建完成。 操作步骤 登录华为云管理控制台。 选择“网络 > 虚拟专用网络”。 配置VPN网关。 选择“虚拟专用网络 > 企业版-VPN网关”,单击“站点入云VPN网关”的页签后,再单击“创建站点入云VPN网关”。
华为云控制台操作步骤 前提条件 云上VPC及其子网已经创建完成。 操作步骤 登录华为云管理控制台。 选择“网络 > 虚拟专用网络”。 配置VPN网关。 选择“虚拟专用网络 > 企业版-VPN网关”,单击“站点入云VPN网关”的页签后,再单击“创建站点入云VPN网关”。
案例概述 场景介绍 DWR平台除了提供面向使用者的平台功能,同时也支持合作伙伴将自有功能包装成算子发布到DWR平台上,帮助伙伴快速搭建用户的数据处理工厂。 算子发布流程 图1 算子发布流程图 部署服务:算子提供方需要将自身服务部署在华为云,同时对外提供API,方便用户进行调用。
发布下载OBS对象的算子 案例概述 开发算子代码 测试算子功能 发布算子
操作流程 图1 操作流程 父主题: 抽帧截图(官方算子)
"action": [ "obs:bucket:HeadBucket", "obs:bucket:ListBucketMultipartUploads", "obs:object:AbortMultipartUpload", "obs:object:PutObject"
资源和成本 表1 资源和成本规划 资源 资源说明 数量 每月费用 OBS 算子请求OBS API。 1 通过算子对数据进行处理,都会涉及到对OBS API的调用,每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取,收取详情参见OBS请求费用说明。
修订记录 发布日期 修订记录 2022-02-14 第一次正式发布。
修订记录 发布日期 修订记录 2023-05-06 第三次正式发布。 本次变更说明如下: 使用限制,新增不支持并行文件系统的限制。 2022-04-30 第二次正式发布。 本次变更说明如下: 增加IAM细粒度授权。 2022-02-14 第一次正式发布。
相关参考 自定义函数开发规范
图解数据工坊服务
抽帧截图(官方算子) 方案概述 资源和成本 操作流程 实施步骤
图形化编排工具,一站式运维平台,复杂度低 DWR的优势 高效:数据处理时间缩短60% 近数据计算:调用算子提供商设定好的云服务器API来执行算子,函数化调用,路径短。 易用:开发运维效率提升50%+ 图形化编排:拖拉式智能模块化操作,免代码。 一站式运维:可视化统一运维平台,降低管理难度。
启动工作流 通过事件触发器异步启动工作流 通过API异步启动工作流 通过API同步启动工作流 父主题: 数据处理
权限管理 创建用户并授权使用DWR DWR自定义策略
算子管理 算子市场介绍 发布算子 官方算子一览
与其他服务的关系 DWR数据处理的数据源是华为云存储服务,DWR提供的华为云自有算子是通过函数生成,且能力源是华为云数据处理相关的云服务。因此,DWR与其他服务的关系如表1所示。 表1 DWR与其他云服务的关系 服务类别 服务名称 交互关系 存储服务 对象存储服务(Object Storage
"obs:object:AbortMultipartUpload", "obs:object:PutObject", "obs:bucket:GetBucketAcl", "obs:object:GetObject"
ObjectRemoved:监听删除对象操作。 事件源存储桶:触发器监听桶,只有当其中对象内容发生变化时才能触发工作流执行。 上传对象触发工作流执行 完成触发器配置后,工作流已经跟触发器关联,事件源存储桶中监听对象的变化将会触发工作流的执行,这一步我们将上传符合监听事件的对象。 在事件源存储桶中创建一个目录testdir
资源和成本 表1 资源和成本规划 资源 资源说明 数量 每月费用 OBS 算子请求OBS API。 1 通过算子对数据进行处理,都会涉及到对OBS API的调用,每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取,收取详情参见OBS请求费用说明。
数据处理 数据处理介绍 创建工作流 启动工作流
处理数据 入门流程 示例:图片质量变换