如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
什么是弹性内存存储 弹性内存存储（Elastic Memory Service，EMS）是一种以DRAM内存为主要存储介质的云基础设施服务，为LLM推理提供缓存和推理加速。EMS实现AI服务器的分布式内存池化管理，将LLM推理场景下多轮对话及公共前缀等历史KVCache缓存到EM
Token，TTFT），同时也节省了推理算力，提高推理吞吐，加速了大模型推理服务的效率。 建议搭配服务 AI开发平台 ModelArts、云容器引擎 CCE、高性能弹性文件服务 SFS Turbo、对象存储服务 OBS。 图1 LLM大语言模型推理
{//执行算子的输出结果 "tasks": [ {body}, // 直接返回body字符串 ] } } 返回方式2：文件流数据 { "execution_name":"84a3dd2bd67f43aa9b98cdd74604ca68", //工作流实例名称
案例概述 场景介绍 DWR平台除了提供面向使用者的平台功能，同时也支持合作伙伴将自有功能包装成算子发布到DWR平台上，帮助伙伴快速搭建用户的数据处理工厂。 算子发布流程 图1 算子发布流程图 部署服务：算子提供方需要将自身服务部署在华为云，同时对外提供API，方便用户进行调用。
产品优势 EMS内存存储具有以下优势： 半托管融合部署，降低成本 EMS数据面部署在AI服务器上，采用融合部署，统一纳管AI服务器上空闲的DRAM内存资源，复用DRAM内存资源，提供推理加速服务，降低推理KVCache存储成本。 分级缓存，提升推理吞吐，优化推理时延 EMS通过构
EMS以存代算 以存代算产生的背景 在AI推理过程中，Transformer模型接收用户的问题输入，并通过迭代方式生成相应的回答。每个Transformer层由自注意力模块和前馈网络模块组成。 在自注意力模块中，上下文词元（token）与模型参数结合，生成中间数据K（键）和V（值
创建事件触发器 上传文件触发工作流执行 登录OBS服务控制台，进入桶“piccomp”对象列表页面上传图片，如图3所示。 上传图片至piccomp桶后OBS会自动生成事件触发工作流运行，将图片压缩。 触发器执行存在一定的延时，大概5分钟生效。 图3 上传文件 查看图片压缩效果 压
产品功能 表1列出了弹性内存存储服务EMS提供的常用功能特性。 表1 EMS功能概览 功能名称 功能描述 创建凭证 使用EMS前，需要先创建凭证，用于激活EMS。 部署EMS 在已创建的CCE集群的节点上部署EMS，以提供内存服务。 激活EMS 使用已创建的凭证激活EMS后，才能正常使用EMS。
图3 上传视频 查看视频解析结果 解析后的视频参数存放在piccomp-output桶的output文件夹中，如图4所示。原视频的元数据信息如图5所示。 图4 解析后结果文件 图5 视频解析结果内容 （可选）查看运行记录 在DWR控制台左侧导航栏选择“工作流”，进入“工作流”页面
产品优势 数据处理方式对比 传统线下处理方式：硬件为用户自建IDC，软件为自研或集成商的数据处理软件，通过数据处理软件完成数据处理。 传统云上处理方式：使用云上存储服务和数据处理服务，数据写入存储服务后，再调用数据处理服务接口实现数据处理。 云上近数据处理方式：使用云上存储服务和
数据处理介绍 DWR如何实现数据处理 DWR提供的近数据处理能力，可以对OBS内存储的数据，按照用户编排的工作流进行自动化处理（如解析、转码、截图等）。 DWR基于函数工作流FunctionGraph的函数能力，将复杂的业务处理逻辑编排为工作流，通过事件触发器或API驱动，自动化
使用限制 区域限制 当前支持使用的区域有：华北-北京四、华东-上海一、华南-广州、亚太-新加坡。 使用限制 当前仅支持OBS对象桶，不支持并行文件系统。 当前仅支持创建串行的工作流。 一个事件触发器仅支持关联一个工作流，一个工作流可同时被多个事件触发器关联。 当前暂不支持创建重名工作
说明： 当前缀和后缀都不配置时，事件触发器将作用于桶中所有对象。 后缀 使事件触发器生效的对象后缀。 说明： 文件夹是以“/”结尾的，“/”前的字符为文件夹名称。若要对文件夹进行后缀匹配，后缀必须以“/”结尾。 当前缀和后缀都不配置时，事件触发器将作用于桶中所有对象。 单击“确定”，完成事件触发器创建。
一个事件触发器可以设置多个前缀或者后缀吗？ 如果您需要使用一个工作流处理多种后缀的文件，可以为该工作流创建多条事件触发器来实现支持多个前缀或者后缀。 当前一个事件触发器支持设置一个前缀或者后缀，一个桶支持绑定10个触发器。 例如：对于媒资转码工作流，用户需要对后缀mp4和mov两
"key": "exampleobject.docx",//对象名 "oldpsxpth": "",//文件在并行文件系统中rename前的路径 "sequencer": "1",//确定某个特定对象事件顺序的标识
所有开发者均可以创建用于数据处理的算子，审核通过后发布至DWR算子市场，开放给所有华为云用户使用。 发布之前请按要求提供算子的基本信息、上传算子所需文件、配置算子参数。 发布区域：北京四、上海一、上海二、广州、新加坡 发布算子 OBS 2.0支持创建工作流 工作流主要是对算子进行编排，这样
图3 上传视频 查看媒资转码结果 转码后的视频存放在piccomp-output桶的output文件夹中，如图4所示。媒资转码工作流运行记录信息如图5所示。 图4 媒资转码后结果文件 图5 媒资转码工作流运行记录 （可选）查看运行记录 在DWR控制台左侧导航栏选择“工作流”，进入“工作流”页面
根据算子市场上提供的分类进行选择。 算子logo 支持主流图片格式。 图2 算子基本信息 上传算子文件。 上传文件包括：算子代码包、中文和英文帮助文档、中文和英文服务协议文档、中文和英文开源声明、中文和英文测试报告。 图3 上传文件 配置算子参数。 参数 说明 Inputs参数（可选） 提供算子入参中动态
"constraints": { "regex": ".*" }, "invisible": false, "description": "目标文件所在桶" }, { "parameter_name": "object", "parameter_value": "",
根据算子市场上提供的分类进行选择。 算子logo 支持主流图片格式 图2 算子基本信息 请参考模板上传所需文件。 上传文件包括：算子代码包、中文和英文帮助文档、中文和英文开源声明、中文和英文服务协议文档、中文和英文测试报告。 图3 上传文件 配置算子参数。 参数 说明 Inputs参数（可选） 提供算子入参中动态
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
您即将访问非华为云网站，请注意账号财产安全
