容。点击“新增动态参数”,并添加动态参数,配置结果如图2所示。 配置完成后,点击保存按钮输入工作流名称,点击确认,成功保存后界面会自动跳转到工作流列表界面。 图2 配置动态参数例图 配置OBS桶触发器 根据图2所示,工作流的执行时机由触发器决定,当前DWR仅支持OBS的触发器 在
EMS内存池需要占用AI节点多少DRAM内存 EMS数据面镜像部署在用户的CCE容器集群上,EMS镜像运行需要占用AI节点的vCPU、内存等资源,同时EMS用于保存推理KVCache需要额外占用AI节点的内存资源。AI推理场景受限于显存瓶颈,DRAM内存富余较多,建议分配一半DR
的问题,EMS将AI服务器中的空闲DRAM资源进行池化,形成EMS内存池,实现DRAM资源的按需分配和高效利用。 提升AI训练和推理性能:针对AI场景中的“显存内存墙”问题,EMS利用内存池中的DRAM资源进行扩展,通过DRAM内存容量和带宽的补充,大幅提升AI训练和推理的性能。
文将占用约4.5MB * 2048 = 10GB的AI服务器显存空间。 然而,AI服务器通常只能提供几十GB的显存容量,其中一部分还要用于存储模型参数,仅剩余部分空间用于KVCache缓存。例如:使用8张64GB的AI服务器部署GPT3模型,系统显存总容量为512GB(8 * 6
产品优势 EMS内存存储具有以下优势: 半托管融合部署,降低成本 EMS数据面部署在AI服务器上,采用融合部署,统一纳管AI服务器上空闲的DRAM内存资源,复用DRAM内存资源,提供推理加速服务,降低推理KVCache存储成本。 分级缓存,提升推理吞吐,优化推理时延 EMS通过构
(水印参数) template_id 水印模板ID。可通过新建水印模板接口创建水印模板。 动态参数 (文字水印配置) text_context 文字水印内容,内容需做Base64编码,此配置项不能为空 示例:若想添加文字水印“测试文字水印”,那么Content的值为:5rWL6K+V5paH5a2X5rC05Y2w
当完成算子开发、算子在工作流中的测试后,即可在DWR上将算子发布到算子市场。 操作步骤 在DWR控制台的“发布算子”页面,单击界面右上角的“发布公共算子”。 配置算子基本信息。 表1 配置基本信息 参数 说明 算子名称 不能与本用户已有的算子重名。 算子提供方 - 算子描述 - API链接 填写华为云云市场已上架的算子链接。
self.watermarks = watermarks if thumbnail is not None: self.thumbnail = thumbnail if priority is not None:
数据工坊DWR”。 进入DWR页面。 在左侧导航栏选中“发布算子”,进入“发布算子”页面。 单击界面右上角的“发布公共算子”。 配置算子基本信息。 表1 配置基本信息 参数 说明 算子名称 不能与本用户已有的算子重名。 算子提供方 - 算子描述 - API链接 填写华为云云市场已上架的算子链接。
数据工坊DWR”。 进入DWR页面。 在左侧导航栏选中“发布算子”,进入“发布算子”页面。 单击界面右上角的“发布公共算子”。 配置算子基本信息。 表1 配置基本信息 参数 说明 算子名称 算子名称不能与本用户已有的算子重名。 算子提供方 - 算子描述 - API链接 填写华为云云商店已上架的算子链接。
单击界面右上角的“创建工作流”,进入“工作流编排”页面。 将左侧预置的模板或自定义的函数拖拽至编排区域,同时在右侧属性面板配置基本属性和动态参数,配置完成后图标将由白色填充变为蓝色填充。 各预置模板及自定义函数的参数配置说明,请参见官方算子一览。 使用视频解析、抽帧截图、媒资转码等模板需要先在MPC中开启桶授权,详情请参见权限说明。
是和智能助手进行多轮对话时。 解决方案 针对AI推理场景面临的痛点问题,华为云通过EMS加速推理业务,提升推理业务吞吐,降低推理时延,降低推理资源部署成本。LLM在线推理场景示意图如图1所示。 由于AI服务器内存墙瓶颈,EMS利用AI集群的空闲内存构建分布式内存池,实现显存容量的
*CreateThumbnailDynamicSourceBody } `json:"dynamic_source"` }{} // 配置截图参数,为下游截图任务提供参数配置 resp.DynamicSource.CreateThumbnailDynamicSourceBody
您首先需要在FunctionGraph导入自定义算子需要的函数依赖包。然后需要在FunctionGraph创建自定义抽帧截图函数。之后需要在DWR工作流编排界面完成配置动态参数,创建同步工作流。最后触发工作流进行验证。 图1 操作流程 父主题: 抽帧截图(自定义算子)
265_4K_低码_1入9出”,将片源转为4K、2K、1080等码率的视频。该模板实际调用的是MPC服务的新建转码任务接口。 约束与限制 媒资转码算子不支持同步返回,如您配置了同步工作流执行媒资转码算子,则会采用异步方式执行,且返回值会格式异常。 流程一览 操作步骤 在OBS服务中创建桶 在OBS服务控制台创建
业务流程复杂,复杂度高 图形化编排工具,一站式运维平台,复杂度低 DWR的优势 高效:数据处理时间缩短60% 近数据计算:调用算子提供商设定好的云服务器API来执行算子,函数化调用,路径短。 易用:开发运维效率提升50%+ 图形化编排:拖拉式智能模块化操作,免代码。 一站式运维:可视化统一运维平台,降低管理难度。
据工作流函数使用到的服务按需添加。 如果账号的下的IAM用户需要使用DWR,则需要给IAM用户配置FunctionGraph、数据处理服务(如MPC)、SMN等服务的访问权限。具体配置的权限需要和委托的权限保持一致。委托的权限详情可以在“统一身份认证 > 委托”中查看名称以“ob
媒资转码”函数,且配置“媒资转码”函数的转码输出桶为桶A。用户创建一条工作流workflowB,在工作流中使用了内置的“媒资转码”函数,且配置“媒资转码”函数的转码输出桶为桶B。然后,在桶B上配置触发器triggerA关联工作流workflowA,在桶A上配置触发器trigger
丢失,需要上层业务按缓存未命中进行处理。 监控安全风险 您可以通过在CCE集群上安装监控插件,将CCE集群的节点上部署的EMS监控数据上报至应用运维管理 AOM实例,便于您随时监控业务。可以通过配置监控告警规则,在出现EMS告警时,能够及时通知您处理告警。 故障恢复 EMS提供的
为什么需要激活凭证 EMS采用半托管融合部署,EMS数据面部署在用户AI节点上,用户需要使用激活凭证激活EMS后才能开始使用。EMS激活时,EMS数据面会和EMS管理面通信,通过EMS管理面校验并完成用户关联后,用户才能使用EMS。 父主题: EMS控制台使用类问题
您即将访问非华为云网站,请注意账号财产安全