如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
示例：图片质量变换 场景介绍 对于需要对大量图片文件进行压缩，快速发布上线的场景，可以使用DWR可视化的质量变换工作流来完成任务，帮助用户提升图片处理效率，节省内容发布时间。 实现流程 该实例通过创建触发器的方式异步启动工作流，实现流程为： 在OBS服务中创建桶 在DWR服务中创建工作流
Memory Service，EMS）是一种以DRAM内存为主要存储介质的云基础设施服务，为LLM推理提供缓存和推理加速。EMS实现AI服务器的分布式内存池化管理，将LLM推理场景下多轮对话及公共前缀等历史KVCache缓存到EMS内存存储中，通过以存代算，减少了冗余计算，提升推
文将占用约4.5MB * 2048 = 10GB的AI服务器显存空间。 然而，AI服务器通常只能提供几十GB的显存容量，其中一部分还要用于存储模型参数，仅剩余部分空间用于KVCache缓存。例如：使用8张64GB的AI服务器部署GPT3模型，系统显存总容量为512GB（8 * 6
与其他服务的关系 DWR数据处理的数据源是华为云存储服务，DWR提供的华为云自有算子是通过函数生成，且能力源是华为云数据处理相关的云服务。因此，DWR与其他服务的关系如表1所示。 表1 DWR与其他云服务的关系 服务类别 服务名称 交互关系 存储服务 对象存储服务（Object Storage
针对AI推理场景面临的痛点问题，华为云通过EMS加速推理业务，提升推理业务吞吐，降低推理时延，降低推理资源部署成本。LLM在线推理场景示意图如图1所示。 由于AI服务器内存墙瓶颈，EMS利用AI集群的空闲内存构建分布式内存池，实现显存容量的扩展，突破单机内存的瓶颈。通过EMS将LLM推理中的多轮对话、公共
通过事件触发器异步启动工作流 操作场景 创建工作流之后，可以通过创建事件触发器来为工作流设置执行条件，指定桶内什么数据在执行某类操作后开始执行工作流。 前提条件 已完成工作流创建。 约束与限制 一个桶支持绑定10个事件触发器。 操作步骤 登录管理控制台。在左侧导航栏上方，单击，选择“存储
产品优势 EMS内存存储具有以下优势： 半托管融合部署，降低成本 EMS数据面部署在AI服务器上，采用融合部署，统一纳管AI服务器上空闲的DRAM内存资源，复用DRAM内存资源，提供推理加速服务，降低推理KVCache存储成本。 分级缓存，提升推理吞吐，优化推理时延 EMS通过构
使用限制 区域限制 当前支持使用的区域为：北京四、上海一、上海二、广州、新加坡。 使用限制 当前仅支持OBS对象桶，不支持并行文件系统。 当前仅支持创建串行的工作流。 一个事件触发器仅支持关联一个工作流，一个工作流可同时被多个事件触发器关联。 当前暂不支持创建重名工作流，即使工作
发布算子 操作场景 所有开发者均可以创建用于数据处理的算子，审核通过后发布至DWR算子市场，开放给所有华为云用户使用。 当算子被华为云用户使用之后，算子发布者将会获得相应的收益，详情参见计费说明。 算子从API上线、开发、到发布的整个流程如图1所示，本节主要介绍如何使用DWR发布已开发好的算子到算子市场。
自定义函数开发规范 用户在自行开发自定义函数时，函数的输入参数和输出参数需要遵守本节的开发规范。 自定义函数的编译方式请参考FunctionGraph的《开发指南》。 函数输入参数 工作流执行自定义函数时，函数输入参数的JSON格式的结构体和环境变量的定义如下： 表1 函数输入的JSON格式体
创建工作流 操作场景 工作流主要是对算子进行编排，这样DWR就可以按照用户编排的工作流对OBS中的数据进行自动化处理（如视频解析、图片转码、视频截图等）。 操作步骤 登录管理控制台。在左侧导航栏上方，单击，选择“存储 > 数据工坊DWR”。 进入DWR页面。 在左侧导航栏选中“工
基本概念 工作流 工作流是DWR运行单位，其中可以包含一个或多个算子，客户可通过加入不同算子到工作流中实现高度自由化的数据处理功能。 算子 算子是DWR中的执行单位，是一个具有输入输出的完成功能模块。算子既有华为云提供的内置官方算子，也有经过华为云审核后的第三方算子。用户可以根据
于策略的授权是一种更加灵活的授权方式，能够满足企业对权限最小化的安全管控要求。例如：针对DWR服务，管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。多数细粒度策略以API接口为粒度进行权限拆分。 如表1所示，包括了DWR的所有系统权限。 表1 DWR系统权限 系统角色/策略名称
媒资转码 场景介绍 执行MPC服务的预置转码模板“DASH_H.265_4K_低码_1入9出”，将片源转为4K、2K、1080等码率的视频。该模板实际调用的是MPC服务的新建转码任务接口。 约束与限制 媒资转码算子不支持同步返回，如您配置了同步工作流执行媒资转码算子，则会采用异步方式执行，且返回值会格式异常。
视频解析 场景介绍 解析视频的元数据信息，包括：视频时长、视频格式、码率等。用于视频播放时获取时长，分辨率展示 等等。 流程一览 操作步骤 在OBS服务中创建桶 在OBS服务控制台创建两个桶，一个用于上传待处理的数据对象，一个用于存储处理后的数据对象。桶的详细介绍参见创建桶。 数据输入桶：“piccomp”
数据处理介绍 DWR如何实现数据处理 DWR提供的近数据处理能力，可以对OBS内存储的数据，按照用户编排的工作流进行自动化处理（如解析、转码、截图等）。 DWR基于函数工作流FunctionGraph的函数能力，将复杂的业务处理逻辑编排为工作流，通过事件触发器或API驱动，自动化
成长地图 | 华为云 数据工坊 数据工坊（Data Workroom，DWR）是一款近数据处理服务，通过易用的数据处理工作流编排和开放生态的数据处理算子，能够在云上实现各种灵活的数据处理业务。 文档 立即体验 成长地图 由浅入深，带您玩转DWR 01 了解 了解华为云数据工坊DW
业务流程复杂，复杂度高 图形化编排工具，一站式运维平台，复杂度低 DWR的优势 高效：数据处理时间缩短60% 近数据计算：调用算子提供商设定好的云服务器API来执行算子，函数化调用，路径短。 易用：开发运维效率提升50%+ 图形化编排：拖拉式智能模块化操作，免代码。 一站式运维：可视化统一运维平台，降低管理难度。
户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮
案例概述 场景介绍 DWR平台除了提供面向使用者的平台功能，同时也支持合作伙伴将自有功能包装成算子发布到DWR平台上，帮助伙伴快速搭建用户的数据处理工厂。 算子发布流程 图1 算子发布流程图 部署服务：算子提供方需要将自身服务部署在华为云，同时对外提供API，方便用户进行调用。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
您即将访问非华为云网站，请注意账号财产安全
