已找到以下 19 条记录
AI智能搜索
产品选择
数据工坊 DWR
没有找到结果,请重新输入
产品选择
数据工坊 DWR
在搜索结果页开启AI智能搜索
开启
产品选择
没有找到结果,请重新输入
会话过期
当前登录超时,请重新登录
  • 认证证书 - 数据工坊 DWR

    认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书

  • 安全 - 数据工坊 DWR

    安全 责任共担 身份认证与访问控制 数据保护技术 认证证书

  • 数据保护技术 - 数据工坊 DWR

    由于EMS数据面采用融合部署,因此EMS数据面需要手动更新版本。如果EMS数据面服务需要进行升级更新操作时,需要用户授权或协助在用户容器集群上进行手动更新操作。 父主题: 安全

  • 约束与限制 - 数据工坊 DWR

    使用EMS内存缓存功能。 EMS使用须知 EMS提供的是内存缓存,不是持久化存储,在EMS镜像重启/升级、节点重启、发生异常导致故障等场景会导致内存缓存丢失,需要上层业务按缓存未命中进行处理。 为提高内存缓存性能,EMS内存缓存集群必须部署在同一AZ。 EMS数据面镜像部署在用

  • 权限管理 - 数据工坊 DWR

    查询公共算子 √ √ 查询用户第三方算子 √ √ 查询第三方算子服务协议是否同意 √ √ 获取DWR工作流是否开通授权 √ √ 更新工作流参数 √ x 更新用户第三方算子 √ x 恢复的工作流实例 √ x DWR工作流开通授权 √ x 同意第三方算子服务协议 √ x 列举工作流 √

  • 什么是弹性内存存储 - 数据工坊 DWR

    Service,EMS)是一种以DRAM内存为主要存储介质的云基础设施服务,为LLM推理提供缓存和推理加速。EMS实现AI服务器的分布式内存池化管理,将LLM推理场景多轮对话及公共前缀等历史KVCache缓存到EMS内存存储中,通过以存代算,减少了冗余计算,提升推理吞吐量,大幅节省AI推理算力资源,同时可降低推理首Token时延(Time

  • 测试算子功能 - 数据工坊 DWR

    容,例如图3中触发器将监听testdir目录中以.png结尾的文件。 事件源触发器分两大类: ObjectCreated :监听包括上传,更新,复制等操作。 ObjectRemoved:监听删除对象操作。 事件源存储桶:触发器监听桶,只有当其中对象内容发生变化时才能触发工作流执行。

  • 实施步骤 - 数据工坊 DWR

    secret_access_key=context.getSecretKey(), server='https://obs.cn-north-4.myhuaweicloud.com' #OBS的endpoint,不同region的OBS Endpoint不同

  • EMS以存代算 - 数据工坊 DWR

    元的KV缓存大小 = 模型维度 * 模型层数 * 数据精度 * 2。例如:GPT3模型的数据维度和层数分别为12288和96,在双字节精度,单个词元的KV缓存大小为12288 * 96 * 2 * 2字节 = 4.5MB。 在推理过程中,每个推理请求所需的KV缓存大小与上下文长

  • 开发算子代码 - 数据工坊 DWR

    access_key_id=ak, secret_access_key=sk, server='https://obs.{}.huawei.com'.format(regionid) ) object_size = 0

  • 应用场景 - 数据工坊 DWR

    由于AI服务器内存墙瓶颈,EMS利用AI集群的空闲内存构建分布式内存池,实现显存容量的扩展,突破单机内存的瓶颈。通过EMS将LLM推理中的多轮对话、公共前缀等场景的历史KVCache缓存在EMS中,LLM推理时直接复用EMS缓存中的历史KVCache,无需重新计算历史KVCache,通过以存代算,降低了推理首Token时延(Time

  • 实施步骤 - 数据工坊 DWR

    数修改如下: bucket: 抽帧截图结果输出的桶名,如图所示填为test-workflow-sh1 output: 抽帧截图结果在输出桶的输出路径如图中所示输出图片的路径为桶tes-workflow-sh1的output目录 tar: 抽帧截图图片是否需要压缩, 选择否 sync:

  • 方案概述 - 数据工坊 DWR

    方案概述 应用场景 需要对视频抽帧截图时,在不编写额外代码的情况使用抽帧截图算子对视频进行指定时间点截帧。 约束与限制 该抽帧截图算子目前暂不支持中文对象。 方案架构 方案优势 用户自定义算子,无需依赖额外服务,功能更灵活。 父主题: 抽帧截图(自定义算子)

  • 方案概述 - 数据工坊 DWR

    方案概述 应用场景 需要对视频抽帧截图时,在不编写额外代码的情况使用抽帧截图算子对视频进行指定时间点截帧。 约束与限制 该抽帧截图算子目前暂不支持中文对象。 方案架构 1. 用户使用对象域名向OBS发送请求 2. DWR收到请求同步执行位于FunctionGraph的视频截图抽帧算子实例,调用MPC服务

  • 官方算子一览 - 数据工坊 DWR

    top_n 返回查询到的最相似的N张人脸,N默认为10。 threshold 人脸相似度阈值,低于这个阈值则不返回,取值范围0~1,一般情况建议取值0.93,默认为0。 圆角剪切 模板作用:指定圆角大小将图片剪切为圆角矩形。支持通过圆角半径大小和水平垂直大小两种方式设置。 表5 圆角剪切参数

  • 应用场景 - 数据工坊 DWR

    荐、办公协同、基因测序等场景的海量数据快速产生价值。 DWR的应用场景包括但不限于以下典型场景。 表1 DWR典型应用场景 应用场景 场景支持的能力 视频 视频解析、媒资转码、抽帧截图、添加水印、转封装、审核等 图片 缩略、添加水印、转封装、文字审核、图像审核、人脸识别等 文档

  • 基本概念 - 数据工坊 DWR

    异步启动工作流 调用用户的工作流,并且客户端不关注请求调用的结果,服务端收到请求后将请求排队,排队成功后请求就返回,服务端在空闲的情况会逐个处理排队的请求。 同步启动工作流 调用用户的工作流,并且客户端请求需要明确等到响应结果,也就是说同步调用需等待后台处理完成后返回结果。

  • 创建视频转码工作流 - 数据工坊 DWR

    access_key_id="XXX", secret_access_key="XXX", server="https://obs.cn-north-4.myhuaweicloud.com" ) # 上传对象,并配置转码对象命令元数据

  • 数据处理介绍 - 数据工坊 DWR

    操作。比较典型的场景是:用户上传视频对象后,可以根据工作流自动完成视频解析或者转码。 通过API启动工作流(同步和异步都支持) 在少数场景,用户对单个对象或者一类对象进行的复杂操作是有区别的,这就要求用户通过API调用方式来实现单个对象粒度的复杂任务处理,可以指定某个对象立即执行某个特定的工作流。

提示

您即将访问非华为云网站,请注意账号财产安全