与其他服务的关系 DWR数据处理的数据源是华为云存储服务,DWR提供的华为云自有算子是通过函数生成,且能力源是华为云数据处理相关的云服务。因此,DWR与其他服务的关系如表1所示。 表1 DWR与其他云服务的关系 服务类别 服务名称 交互关系 存储服务 对象存储服务(Object Storage
与其他服务的关系 图1 EMS与其他服务的关系 表1 EMS与其他服务的关系 服务名称 EMS服务与其他服务的关系 主要交互功能 云容器引擎 (Cloud Container Engine,CCE) EMS数据面镜像基于CCE云容器引擎服务进行安装部署。 部署EMS数据集群 云硬盘(Elastic
Memory Service,EMS)是一种以DRAM内存为主要存储介质的云基础设施服务,为LLM推理提供缓存和推理加速。EMS实现AI服务器的分布式内存池化管理,将LLM推理场景下多轮对话及公共前缀等历史KVCache缓存到EMS内存存储中,通过以存代算,减少了冗余计算,提升推
产品优势 EMS内存存储具有以下优势: 半托管融合部署,降低成本 EMS数据面部署在AI服务器上,采用融合部署,统一纳管AI服务器上空闲的DRAM内存资源,复用DRAM内存资源,提供推理加速服务,降低推理KVCache存储成本。 分级缓存,提升推理吞吐,优化推理时延 EMS通过构
一个事件触发器可以设置多个前缀或者后缀吗? 如果您需要使用一个工作流处理多种后缀的文件,可以为该工作流创建多条事件触发器来实现支持多个前缀或者后缀。 当前一个事件触发器支持设置一个前缀或者后缀,一个桶支持绑定10个触发器。 例如:对于媒资转码工作流,用户需要对后缀mp4和mov两
文将占用约4.5MB * 2048 = 10GB的AI服务器显存空间。 然而,AI服务器通常只能提供几十GB的显存容量,其中一部分还要用于存储模型参数,仅剩余部分空间用于KVCache缓存。例如:使用8张64GB的AI服务器部署GPT3模型,系统显存总容量为512GB(8 * 6
图解数据工坊服务
缩略、添加水印、转封装、文字审核、图像审核、人脸识别等 文档 解压、预览等 基因 文件个数统计、模糊搜索、压缩、容量监控通知等 医疗 数据从存储网关到OBS、AI分析、影像筛查等 监控 视频截帧、图片压缩、图片转存、车牌识别、人脸识别、RTMP直存OBS等
通过事件触发器异步启动工作流 操作场景 创建工作流之后,可以通过创建事件触发器来为工作流设置执行条件,指定桶内什么数据在执行某类操作后开始执行工作流。 前提条件 已完成工作流创建。 约束与限制 一个桶支持绑定10个事件触发器。 操作步骤 登录管理控制台。在左侧导航栏上方,单击,选择“存储
针对AI推理场景面临的痛点问题,华为云通过EMS加速推理业务,提升推理业务吞吐,降低推理时延,降低推理资源部署成本。LLM在线推理场景示意图如图1所示。 由于AI服务器内存墙瓶颈,EMS利用AI集群的空闲内存构建分布式内存池,实现显存容量的扩展,突破单机内存的瓶颈。通过EMS将LLM推理中的多轮对话、公共
创建视频转码工作流 场景介绍 针对使用DWR做视频转码的场景,如果需要每个对象转码任务的参数不同,可通过给对象增加对象元数据(例如:x-obs-meta-transcode-commands: base64(commands)),再使用DWR集成自定义函数的方式来实现视频转码。 具体的工作流视图如图1所示。
示例:图片质量变换 场景介绍 对于需要对大量图片文件进行压缩,快速发布上线的场景,可以使用DWR可视化的质量变换工作流来完成任务,帮助用户提升图片处理效率,节省内容发布时间。 实现流程 该实例通过创建触发器的方式异步启动工作流,实现流程为: 在OBS服务中创建桶 在DWR服务中创建工作流
使用限制 区域限制 当前支持使用的区域有:华北-北京四、华东-上海一、华南-广州、亚太-新加坡。 使用限制 当前仅支持OBS对象桶,不支持并行文件系统。 当前仅支持创建串行的工作流。 一个事件触发器仅支持关联一个工作流,一个工作流可同时被多个事件触发器关联。 当前暂不支持创建重名
} 使用参数:x-workflow-graph-name后跟上工作流名称,即可同步触发工作流.如图所示为返回的截帧结果 当需要对工作流参数做修改时,可以选择两种方式。以修改截图最长边的尺寸到500,采样点到11s为例: 直接在url后对参数修改 在工作流名称后使用’/’加上参数名
使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云
于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对DWR服务,管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。多数细粒度策略以API接口为粒度进行权限拆分。 如表1所示,包括了DWR的所有系统权限。 表1 DWR系统权限 系统角色/策略名称
视频解析 场景介绍 解析视频的元数据信息,包括:视频时长、视频格式、码率等。用于视频播放时获取时长,分辨率展示 等等。 流程一览 操作步骤 在OBS服务中创建桶 在OBS服务控制台创建两个桶,一个用于上传待处理的数据对象,一个用于存储处理后的数据对象。桶的详细介绍参见创建桶。 数据输入桶:“piccomp”
“无限循环”触发工作流如何处理? 由于DWR只能按触发器前缀、后缀、事件源类型等条件触发工作流,所以可能存在出现“无限循环”的场景。如果出现“无限循环”,只能先删除桶的事件触发器。主要有以下两个场景: 场景1:触发器源桶和函数执行输出目标桶是同一个桶的无限循环 案例1:使用DWR内置函数触发“无限循环”
业务流程复杂,复杂度高 图形化编排工具,一站式运维平台,复杂度低 DWR的优势 高效:数据处理时间缩短60% 近数据计算:调用算子提供商设定好的云服务器API来执行算子,函数化调用,路径短。 易用:开发运维效率提升50%+ 图形化编排:拖拉式智能模块化操作,免代码。 一站式运维:可视化统一运维平台,降低管理难度。
成长地图 | 华为云 数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现各种灵活的数据处理业务。 文档 立即体验 成长地图 由浅入深,带您玩转DWR 01 了解 了解华为云数据工坊DW
您即将访问非华为云网站,请注意账号财产安全