检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
码”函数的转码输出桶为桶A。然后,在桶A上配置触发器关联工作流workflowA。如果自定义函数输出的对象前缀或后缀匹配触发器triggerA的前后缀条件(比如:前缀和后缀不配置,或者对象满足触发器条件),则转码的输出会再次触发工作流,从而导致用户工作流不停的执行,出现“无限循环”。
执行MPC服务的预置转码模板“DASH_H.265_4K_低码_1入9出”,将片源转为4K、2K、1080等码率的视频。该模板实际调用的是MPC服务的新建转码任务接口。 约束与限制 媒资转码算子不支持同步返回,如您配置了同步工作流执行媒资转码算子,则会采用异步方式执行,且返回值会格式异常。
查看工作流运行结果 输出值与测试算子的输出结果相同,表示算子已经完成测试,具备发布条件。具备发布条更重要的是动态参数的存在让用户拥有了与算子交互的接口。 动态参数中的桶名称、对象是由用户输入的参数,而触发器中的桶名称、对象则是面向触发器使用,二者不可混淆。 父主题: 发布下载OBS对象的算子
子提供方可以获取用户在DWR中配置的参数。这也是算子提供方获取用户配置参数的主要方式,后文将对该参数进行更加详细的介绍。bucketname以及object的值根据测试需要,点击函数测试参数配置。 obsclient形参中的server参数为OBS的endpoint,详情参见地区和终端节点。
测试算子:算子提供方在发布前可通过自定义算子方式完成DWR的alpha调试,可有效降低发布后的故障率,测试结果也是算子发布时的重要审核项。 发布算子等待审核:算子提供方完成步骤4中的测试后,进入到DWR控制台界面,根据提示信息提供必要的资料提交审核。 本次实践将重点描述步骤3、4、5完成算子的开发、测试、发布。 算子执行原理
访问其他数据处理服务的权限不会在统一授权时添加,系统会在您创建工作流时,根据工作流函数使用到的服务按需添加。 如果账号的下的IAM用户需要使用DWR,则需要给IAM用户配置FunctionGraph、数据处理服务(如MPC)、SMN等服务的访问权限。具体配置的权限需要和委托的权限保持一致。委托的权限详情可以在“统一身份认证
最新动态 本文介绍了数据工坊各特性版本的功能发布和对应的文档动态,欢迎体验。 序号 功能名称 功能描述 阶段 相关文档 1 数据工坊全新公测上线 数据工坊通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现各种灵活的数据处理业务。 公测 什么是数据工坊
与其他服务的关系 DWR数据处理的数据源是华为云存储服务,DWR提供的华为云自有算子是通过函数生成,且能力源是华为云数据处理相关的云服务。因此,DWR与其他服务的关系如表1所示。 表1 DWR与其他云服务的关系 服务类别 服务名称 交互关系 存储服务 对象存储服务(Object Storage
发布算子 当完成算子开发、算子在工作流中的测试后,即可在DWR上将算子发布到算子市场。 操作步骤 在DWR控制台的“发布算子”页面,单击界面右上角的“发布公共算子”。 配置算子基本信息。 表1 配置基本信息 参数 说明 算子名称 不能与本用户已有的算子重名。 算子提供方 - 算子描述
图3 上传文件 配置算子参数。 参数 说明 Inputs参数(可选) 提供算子入参中动态参数对应的参数值,其Key值需要与动态参数中保持一致。 动态参数(可选) 提供算子入参的参数列表,可配置静态参数或动态参数,动态参数需要从Inputs参数中根据定义的Key取值。 权限版本
用户在自行开发自定义函数时,函数的输入参数和输出参数需要遵守本节的开发规范。 自定义函数的编译方式请参考FunctionGraph的《开发指南》。 函数输入参数 工作流执行自定义函数时,函数输入参数的JSON格式的结构体和环境变量的定义如下: 表1 函数输入的JSON格式体 名称 是否必选
图3 上传文件 配置算子参数。 参数 说明 Inputs参数(可选) 提供算子入参中动态参数对应的参数值,其Key值需要与动态参数中保持一致。 动态参数(可选) 提供算子入参的参数列表,可配置静态参数或动态参数,动态参数需要从Inputs参数中根据定义的Key取值。 权限版本
研或集成商的数据处理软件,通过数据处理软件完成数据处理。 传统云上处理方式:使用云上存储服务和数据处理服务,数据写入存储服务后,再调用数据处理服务接口实现数据处理。 云上近数据处理方式:使用云上存储服务和DWR的近数据处理能力,数据写入存储服务后,自动触发DWR编排的工作流完成数据处理。
不能和同一工作流中的其他任务重名 超时(秒) 任务超时时间,即任务执行的最长时间。 支持设置0~300秒的超时时间,如果设置为0,则表示超时时间为默认值30秒。 算子提供方 函数模板的提供方。 错误处理 可定义不同类型错误发生时的重试次数、重试间隔,以及重试失败后跳转到的目标任务。 错
数p1对应的值为v1,p2对应的值为v2。 注意: 当参数名和值中包含下划线时,需将下划线转义为“%5F”。 如:工作流名称为test-workflow,参数名p1为thumb_samp_maxlen,p1的值v1为500,参数名p2为thumb_samp_dots,p2的值v2为11,则请求为:<对象url>
按照指定时间点截图并输出最长边尺寸为480的棘突,参数修改如下: bucket: 抽帧截图结果输出的桶名,如图所示填为test-workflow-sh1 output: 抽帧截图结果在输出桶下的输出路径如图中所示输出图片的路径为桶tes-workflow-sh1的output目录 tar: 抽帧截图图片是否需要压缩,
在OBS服务中上传文件触发工作流执行 使用限制 当前支持使用的区域为:北京四、上海一、上海二、广州、新加坡。 操作步骤 在OBS服务中创建桶 在OBS服务控制台创建两个桶,一个用于上传待处理的数据对象,一个用于存储处理后的数据对象。桶的详细介绍参见创建桶。 数据输入桶:“piccomp”
要进行“统一授权”。 单击界面右上角的“创建工作流”,进入“工作流编排”页面。 将左侧预置的模板或自定义的函数拖拽至编排区域,同时在右侧属性面板配置基本属性和动态参数,配置完成后图标将由白色填充变为蓝色填充。 各预置模板及自定义函数的参数配置说明,请参见官方算子一览。 使用视频解
操作流程 您首先需要在FunctionGraph导入自定义算子需要的函数依赖包。然后需要在FunctionGraph创建自定义抽帧截图函数。之后需要在DWR工作流编排界面完成配置动态参数,创建同步工作流。最后触发工作流进行验证。 图1 操作流程 父主题: 抽帧截图(自定义算子)
return ret 创建工作流。 关联步骤1的自定义函数和“媒资转码”算子。拓扑图如图2所示。 需要关闭自定义算子和“媒资转码”算子的动态参数开关。 图2 创建工作流 配置触发器。 触发器关联到需要做转码的桶,并根据业务需要指定对象前、后缀。 填写配置信息如下: 触发器名称:“test-trans”