如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
EMS内存池需要占用AI节点多少DRAM内存 EMS数据面镜像部署在用户的CCE容器集群上，EMS镜像运行需要占用AI节点的vCPU、内存等资源，同时EMS用于保存推理KVCache需要额外占用AI节点的内存资源。
EMS部署类问题 EMS内存池需要占用AI节点多少DRAM内存
EMS数据面镜像部署在用户的CCE容器集群上，EMS镜像运行需要占用AI节点的vCPU、内存等资源；同时EMS用于保存推理KVCache需要额外占用AI节点的内存资源。
服务韧性 EMS提供的是内存缓存，不是持久化存储，在EMS镜像重启/升级、节点重启、发生异常导致故障等场景下会导致内存缓存丢失，需要上层业务按缓存未命中进行处理。
部署EMS数据集群 VPC终端节点 （VPC Endpoint，VPCEP） 通过VPC终端节点进行EMS激活和集群管理。
为什么需要激活凭证 EMS采用半托管融合部署，EMS数据面部署在用户AI节点上，用户需要使用激活凭证激活EMS后才能开始使用。EMS激活时，EMS数据面会和EMS管理面通信，通过EMS管理面校验并完成用户关联后，用户才能使用EMS。 父主题： EMS控制台使用类问题
实施步骤 前提条件 创建依赖包。 登录FunctionGraph控制台，在依赖包管理页面点击“创建依赖包”。 填写相关参数，完成依赖包创建。 在“函数列表”页面单击“创建函数”完成函数创建。 其中委托需要创建能够授权工作流FunctionGraph访问OBS的权限，创建方式参考创建委托
实施步骤 准备工作 点击开通mpc服务授权。 选择打开委托授权或桶授权。 委托授权：开启后，媒体处理服务将拥有您所有桶的读写权限，子账号不支持委托权限。 桶授权：开启后，媒体处理服务仅拥有已授权桶的读写权限。 操作步骤 登录DWR控制台，在“工作流”页面单击右上角“创建工作流”，进入创建工作流界面
分布式共享内存池，提升缓存命中率 EMS将AI服务器上空闲的DRAM内存构建成分布式内存池，突破单机内存瓶颈，提升缓存空间，同时使得节点间能够进行高效的数据共享，支持亲和调度，提升缓存命中率，满足大规模分布式推理需求。
部署EMS 在已创建的CCE集群的节点上部署EMS，以提供内存服务。 激活EMS 使用已创建的凭证激活EMS后，才能正常使用EMS。 使用EMS 您的推理框架（如：vLLM）可以通过集成EMS SDK方式访问EMS弹性内存存储服务，以实现推理KVCache缓存及后续访问命中。
测试算子功能 当算子功能代码开发完毕后，可以在DWR工作流中使用或进行上线前的测试。本节主要介绍如何使用DWR的自定义工作流来测试算子的功能。 测试算子功能 登录DWR控制台， 在工作流页面点击“创建工作流”进入工作流编排界面。 将左侧“自定义”算子拖拽至编排区域。 鼠标单击各流程图标下方的小圆圈并长按拖拽
成长地图 | 华为云 数据工坊 数据工坊（Data Workroom，DWR）是一款近数据处理服务，通过易用的数据处理工作流编排和开放生态的数据处理算子，能够在云上实现各种灵活的数据处理业务。 文档 立即体验 成长地图 由浅入深，带您玩转DWR 01 了解 了解华为云数据工坊DWR
应用场景 LLM大语言模型推理 需求和挑战 随着LLM推理的飞速发展，LLM推理需求急速增加，LLM推理包含多种任务，如：多轮对话交互、信息检索和文本生成（包括代码）等。 LLM推理场景的需求和主要挑战如下： 保持连贯性：受限于显存容量原因，多轮交互使智能助手很容易“忘记”对话中更早的部分或重复自己说过的话
方案概述 应用场景 需要对视频抽帧截图时，在不编写额外代码的情况下使用抽帧截图算子对视频进行指定时间点截帧。 约束与限制 该抽帧截图算子目前暂不支持中文对象。 方案架构 方案优势 用户自定义算子，无需依赖额外服务，功能更灵活。 父主题： 抽帧截图（自定义算子）
方案概述 应用场景 需要对视频抽帧截图时，在不编写额外代码的情况下使用抽帧截图算子对视频进行指定时间点截帧。 约束与限制 该抽帧截图算子目前暂不支持中文对象。 方案架构 1. 用户使用对象域名向OBS发送请求 2. DWR收到请求同步执行位于FunctionGraph的视频截图抽帧算子实例
案例概述 场景介绍 DWR平台除了提供面向使用者的平台功能，同时也支持合作伙伴将自有功能包装成算子发布到DWR平台上，帮助伙伴快速搭建用户的数据处理工厂。 算子发布流程 图1 算子发布流程图 部署服务：算子提供方需要将自身服务部署在华为云，同时对外提供API，方便用户进行调用。 API
obsclient形参中的server参数为OBS的endpoint，详情参见地区和终端节点。 不同的region拥有不同的endpoint，其主要区别在于regionid，其值通过配置环境变量完成。
官方算子一览 本小节介绍华为云自有服务提供的各类算子的参数配置说明。 不同区域支持的算子可能不同，请以控制台实际为准。 表1 华为云官方算子一览 分类 模板名称 是否支持同步工作流 算子提供方 图像处理 图像标签 是 图像识别服务Image 人脸检测 是 人脸识别服务FRS 人脸搜索
分布式内存池负责跨节点的内存空间管理、数据负载均衡等任务，通过空间池化提供内存缓存共享访问。内存池当前采用融合部署方式，即利用AI服务器中的DRAM（动态随机存取存储器），将DRAM内存池化以实现分布式共享，并进行本地亲和地调度和访问。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
您即将访问非华为云网站，请注意账号财产安全
