如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
随着LLM推理的飞速发展，LLM推理需求急速增加，LLM推理包含多种任务，如：多轮对话交互、信息检索和文本生成（包括代码）等。 LLM推理场景的需求和主要挑战如下： 保持连贯性：受限于显存容量原因，多轮交互使智能助手很容易“忘记”对话中更早的部分或重复自己说过的话。 推理吞吐性能低：LLM在线推
的推理系统无法在AI服务器的显存中持续保存多轮对话的KVCache缓存。为了应对这一问题，系统通常会丢弃已处理对话的KV缓存，以腾出显存空间来服务新的请求。然而，当这些被丢弃的KV缓存对应的对话再次出现时，系统必须重新计算这些KV缓存，如图1 中的（a）所示。这种重复计算不仅浪费了计算资源，还增加了推理成本。
高效：数据处理时间缩短60% 近数据计算：调用算子提供商设定好的云服务器API来执行算子，函数化调用，路径短。 易用：开发运维效率提升50%+ 图形化编排：拖拉式智能模块化操作，免代码。 一站式运维：可视化统一运维平台，降低管理难度。 开放：算子库能力无上限 丰富算子生态：可调用海量华为云自有算子及第三方算子，免开发。
弹性内存存储（Elastic Memory Service，EMS）是一种以DRAM内存为主要存储介质的云基础设施服务，为LLM推理提供缓存和推理加速。EMS实现AI服务器的分布式内存池化管理，将LLM推理场景下多轮对话及公共前缀等历史KVCache缓存到EMS内存存储中，通过以存代算，减少了冗余计算，提升
人脸比对 是 人脸识别服务FRS 圆角剪切 是 对象存储服务OBS 普通裁剪 是 对象存储服务OBS 索引剪切 是 对象存储服务OBS 图片水印 是 对象存储服务OBS 文字水印 是 对象存储服务OBS 缩略图 是 对象存储服务OBS 内切圆裁剪 是 对象存储服务OBS 自适应旋转 是
媒资转码 场景介绍 执行MPC服务的预置转码模板“DASH_H.265_4K_低码_1入9出”，将片源转为4K、2K、1080等码率的视频。该模板实际调用的是MPC服务的新建转码任务接口。 约束与限制 媒资转码算子不支持同步返回，如您配置了同步工作流执行媒资转码算子，则会采用异步方式执行，且返回值会格式异常。
求，可以创建自定义策略。 目前华为云支持以下两种方式创建自定义策略： 可视化视图创建自定义策略：无需了解策略语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。 JSON视图创建自定义策略：可以在选择策略模板后，根据具体需求编辑策略内容；也可以直接在编辑框内编写JSON格式的策略内容。
云计算知识哪家强，云上小课来开讲！ 云图说合集 云图说系列，是您了解华为云的必备利器 对象存储专题 汇聚云图说、视频、最佳实践，带您玩转华为云OBS 智能客服 您好！我是有问必答知识渊博的的智能问答机器人，有问题欢迎随时求助哦！ 社区求助 华为云社区是华为云用户的聚集地。这里有来自容器服务的技术牛人，为您解决技术难题。
EMS部署类问题 EMS内存池需要占用AI节点多少DRAM内存
EMS概念类问题 什么是KVCache
收费标准由算子发布者决定。 自营算子由算子云服务提供方决定收费标准。例如使用人脸识别算子，该算子由人脸识别服务FRS提供，会根据人脸识别接口调用次数进行收费。 查询算子的云服务提供方参见表华为算子一览，各个云服务的计费规则请查看该服务的“计费说明”章节。
启动工作流 通过事件触发器异步启动工作流 通过API异步启动工作流 通过API同步启动工作流 父主题： 数据处理
用户使用对象域名向OBS发送请求 2. DWR收到请求同步执行位于FunctionGraph的视频截图抽帧算子实例，调用MPC服务 3. MPC服务完成抽帧截图，将结果写回租户桶 4. DWR读取租户桶并将结果返回给用户 方案优势 无需额外代码编写，快速构建视频抽帧截图应用。 父主题：
缓存推理历史KVCache，实现以存代算，提升LLM推理服务的吞吐性能，降低推理资源成本；同时缩短LLM推理首Token输出时延，改善用户对话体验。 分布式共享内存池，提升缓存命中率 EMS将AI服务器上空闲的DRAM内存构建成分布式内存池，突破单机内存瓶颈，提升缓存空间，同时使
OBS 算子请求OBS API。 1 通过算子对数据进行处理，都会涉及到对OBS API的调用，每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取，收取详情参见OBS请求费用说明。 FunctionGraph函数 算子使用FunctionGraph函数工作流。
LLM推理 LLM（Large Language Model）推理服务旨在为大规模语言模型（LLM）的推理任务提供高效、低延迟的在线服务能力。EMS通过KVCache缓存、多级缓存、分布式内存池化以及智能亲和调度等技术，加速推理速度并降低资源消耗。 激活凭证 您可以在EMS控
API 算子市场 算子市场即DWR提供的算子库，提供方包括华为和第三方。 华为算子的能力源是华为云数据处理相关的云服务，如媒体处理MPC、图像识别Image等，DWR将云服务提供的各种数据处理能力通过函数生成算子并在算子市场发布。 第三方算子是基于DWR的算子注册能力，由第三方开发者
与其他服务的关系 图1 EMS与其他服务的关系 表1 EMS与其他服务的关系 服务名称 EMS服务与其他服务的关系 主要交互功能 云容器引擎 （Cloud Container Engine，CCE） EMS数据面镜像基于CCE云容器引擎服务进行安装部署。 部署EMS数据集群 云硬盘（Elastic
基本概念 EMS基本概念
为保证数据传输的安全性，访问EMS服务控制台时支持HTTPS协议。 操作认证 所有EMS服务管理面的API都会进行IAM身份认证。 审计与安全 出于分析或审计等目的，用户可以开启日志记录功能。通过将EMS日志规则配置到云日志服务 LTS，您可以获取EMS数据面的相关运行日志，从而帮助您定位问题。 服务韧性
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
您即将访问非华为云网站，请注意账号财产安全
