如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
资源和成本 表1 资源和成本规划 资源 资源说明 数量 每月费用 OBS 算子请求OBS API。 1 通过算子对数据进行处理，都会涉及到对OBS API的调用，每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取，收取详情参见OBS请求费用说明。
资源和成本 表1 资源和成本规划 资源 资源说明 数量 每月费用 OBS 算子请求OBS API。 1 通过算子对数据进行处理，都会涉及到对OBS API的调用，每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取，收取详情参见OBS请求费用说明。
量数据的快速处理是企业数据变现的核心诉求。DWR提供的高效、开放、易用的近数据处理能力，让视频处理、图片审核、文档压缩、灾难防治、数据搜索和推荐、办公协同、基因测序等场景的海量数据快速产生价值。 DWR的应用场景包括但不限于以下典型场景。 表1 DWR典型应用场景 应用场景 场景下支持的能力
户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮
Cache）是用于加速大型语言模型（如Transformer模型）推理过程的技术，KVCache通过缓存Attention机制中的Key和Value矩阵（K和V），以避免在生成新token时重复计算历史序列的中间结果，减少冗余计算，从而显著提升了推理效率。 LLM推理 LLM（Large
算子市场介绍 算子市场即为DWR提供的算子库，提供方包括华为和第三方。 华为云自有算子的能力源是华为云数据处理相关的云服务，如媒体处理MPC、图像识别Image等，DWR将云服务提供的各种数据处理能力通过函数生成算子并在算子市场发布。 第三方算子是基于DWR的算子注册能力，由第三
户直观便捷的构建数据处理流程，同时提供了预置的算子和自定义函数能力，覆盖数据处理的各种场景。预置算子的详细介绍，请参见官方算子一览。用户在自行开发自定义函数时，函数的输入参数和输出参数需要遵守自定义函数开发规范。 DWR支持异步和同步两种方式启动工作流，其中同步方式支持直接返回数据：
传统云上处理方式：使用云上存储服务和数据处理服务，数据写入存储服务后，再调用数据处理服务接口实现数据处理。 云上近数据处理方式：使用云上存储服务和DWR的近数据处理能力，数据写入存储服务后，自动触发DWR编排的工作流完成数据处理。 表1 数据处理方式对比 对比项 传统线下处理 传统云上处理
缓存系统性能优化 EMS还采用了以下技术来优化缓存系统性能，如图2所示： 图2 EMS以存代算技术 采用异步保存和读取策略，以减少加载和保存KV缓存的时间。 利用多级缓存和分布式缓存架构，通过更大容量的存储介质提供充足的缓存空间。 通过自动感知调度器中的任务队列信息，实现多层次存储介质间的缓存调度，以提高访问效率。
设置缩略的类型。取值为lfit、mfit、fill、pad和fixed，默认值为lfit。 lfit：指定一个w和h的矩形，将图片进行等比缩放，取在矩形内最大的图片。 mfit：指定一个w和h的矩形，将图片进行等比缩放，取在矩形延伸区域的最小图片。 fill：指定一个w和h的矩形，将图片进行等比缩放，取在
Workroom，DWR）是一款近数据处理服务，通过易用的数据处理工作流编排和开放生态的数据处理算子，能够在云上实现图像、视频、文档、图片等数据处理业务。 如图1所示，DWR主要对外提供开放的算子库和数据处理引擎。 算子库包含由DWR提供的华为自有算子和第三方开发者提供的第三方算子。 华为自有算子的能力源
最新动态 本文介绍了数据工坊各特性版本的功能发布和对应的文档动态，欢迎体验。 序号 功能名称 功能描述 阶段 相关文档 1 数据工坊全新公测上线 数据工坊通过易用的数据处理工作流编排和开放生态的数据处理算子，能够在云上实现各种灵活的数据处理业务。 公测 什么是数据工坊
数据保护技术 数据安全 EMS通过多种数据保护手段和特性，保障EMS数据安全可靠。 表1 EMS数据保护手段 数据保护手段 简要说明 传输加密（HTTPS） 为保证数据传输的安全性，访问EMS服务控制台时支持HTTPS协议。 操作认证 所有EMS服务管理面的API都会进行IAM身份认证。
华为云还提供以下资源来帮助用户满足合规性要求，具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另外，华为云还提供了以下销售许可证及软件著作权证书，供用户下载和参考。具体请查看合规资质证书。 图3 销售许可证&软件著作权证书 父主题： 安全
的按需分配和高效利用。 提升AI训练和推理性能：针对AI场景中的“显存内存墙”问题，EMS利用内存池中的DRAM资源进行扩展，通过DRAM内存容量和带宽的补充，大幅提升AI训练和推理的性能。 产品架构 EMS产品架构主要由三部分组成：领域专用服务SDK、分布式内存池和管理面。请参考图1
自定义函数开发规范 用户在自行开发自定义函数时，函数的输入参数和输出参数需要遵守本节的开发规范。 自定义函数的编译方式请参考FunctionGraph的《开发指南》。 函数输入参数 工作流执行自定义函数时，函数输入参数的JSON格式的结构体和环境变量的定义如下： 表1 函数输入的JSON格式体
击函数测试参数配置。 obsclient形参中的server参数为OBS的endpoint，详情参见地区和终端节点。 不同的region拥有不同的endpoint，其主要区别在于regionid，其值通过配置环境变量完成。 代码中最后一个return语句为必选代码块，工作流的执行
个前缀或者后缀。 当前一个事件触发器支持设置一个前缀或者后缀，一个桶支持绑定10个触发器。 例如：对于媒资转码工作流，用户需要对后缀mp4和mov两种格式的视频进行数据处理。用户需要为该给工作流创建两个触发器，一个用于触发mp4格式的数据处理，一个用于触发mov格式的数据处理。
为什么需要激活凭证 EMS采用半托管融合部署，EMS数据面部署在用户AI节点上，用户需要使用激活凭证激活EMS后才能开始使用。EMS激活时，EMS数据面会和EMS管理面通信，通过EMS管理面校验并完成用户关联后，用户才能使用EMS。 父主题： EMS控制台使用类问题
Cache）是用于加速大型语言模型（如Transformer模型）推理过程的技术，KVCache通过缓存Attention机制中的Key和Value矩阵（K和V），以避免在生成新Token时重复计算历史序列的中间结果，减少冗余计算，从而显著提升了推理效率。 父主题： EMS概念类问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
您即将访问非华为云网站，请注意账号财产安全
