检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FTP/SFTP连接 介绍 通过FTP或SFTP连接,可以对FTP或SFTP服务器抽取或加载文件,支持CSV、二进制和JSON格式。
配置远程备份至FTP/SFTP服务器 为加强对系统数据的容灾管理,堡垒机支持配置日志备份,提高审计数据安全性和系统可扩展性。 本小节主要介绍如何在系统配置FTP/SFTP服务器参数,将日志远程备份至FTP/SFTP服务器。
媒资转码”函数,且配置“媒资转码”函数的转码输出桶为桶A。用户创建一条工作流workflowB,在工作流中使用了内置的“媒资转码”函数,且配置“媒资转码”函数的转码输出桶为桶B。然后,在桶B上配置触发器triggerA关联工作流workflowA,在桶A上配置触发器trigger
FTP/SFTP连接 介绍 通过FTP或SFTP连接,可以对FTP或SFTP服务器抽取或加载文件,支持CSV、二进制和JSON格式。
如何测试算子 当算子功能代码开发完毕后,可以在DWR工作流中使用自定义工作流进行测试。请参考测试算子功能。
SSH协议主机,如何使用FTP/SFTP传输文件? 运维员admin_A需要利用FTP/SFTP客户端,向云堡垒机已纳管的SSH协议主机HOST_A传输文件。 前提条件 系统要求:目标设备支持SFTP/FTP协议。
FTP/SFTP连接参数说明 FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。
已在本地安装客户端工具。 资源主机网络连接正常,且资源账户登录账号和密码无误。 已在端口配置中打开FTP开关,开放2222(SFTP协议端口)、2121(FTP协议端口),具体操作详见配置系统运维端口。 操作步骤 获取登录信息。 登录堡垒机系统。
搭建SFTP 简介 SFTP(Secure File Transfer Protocol)是一种用于安全访问、传输和管理大文件和敏感数据的网络协议,它通过SSH协议运行,能够支持SSH完整的安全和身份验证功能。本教程介绍如何在HCE 2.0上部署SFTP服务。
FTP/SFTP连接参数说明 FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。
验证成功后,重新配置FTP/SFTP服务器远程备份账户和密码,尝试备份。 原因二: 登录云堡垒机系统,通过网络诊断,检查与FTP/SFTP服务器之间网络连接情况。 网络连接正常,请排查其他可能原因。
表2 输入设置参数 参数名 说明 示例 输入路径 SFTP服务器中源文件的输入路径,如果连接器配置多个地址此处可对应使用“;”分隔多个输入路径,数量需要与连接器中服务器的数量一致。 说明: 路径参数可以使用宏定义,具体请参考配置项中使用宏定义。
ctionGraph开发文档。 图2 FunctionGraph编辑代码界面 测试代码 测试代码需要配置测试事件,在下拉框中选择“配置测试事件”,进入配置测试事件界面。 图3 配置测试事件 选择“创建新的测试事件”并选择“空白模板”,将原有内容替换为以下事件(json格式)内容。
您需要确保账户有足够金额。 关于DWR收费标准,请参见计费说明。 关于充值,请参见如何给华为云账户充值。 创建IAM用户 IAM用户由账号管理员创建并管理,可以确保账号及资源的安全性,有关IAM的详细介绍请参见IAM用户。此处介绍如何创建一个具有DWR访问权限的IAM用户。如果您不需要使用IAM用户,可以略过此部分内容。
操作步骤 登录DWR控制台,在“工作流”页面单击右上角“创建工作流”,进入创建工作流界面,选择抽帧截图算子进行工作流编排。 点击右侧算子详情配置动态参数。 按照指定时间点截图并输出最长边尺寸为480的棘突,参数修改如下: bucket: 抽帧截图结果输出的桶名,如图所示填为test-workflow-sh1
数据处理介绍 DWR如何实现数据处理 DWR提供的近数据处理能力,可以对OBS内存储的数据,按照用户编排的工作流进行自动化处理(如解析、转码、截图等)。 DWR基于函数工作流FunctionGraph的函数能力,将复杂的业务处理逻辑编排为工作流,通过事件触发器或API驱动,自动化
容。点击“新增动态参数”,并添加动态参数,配置结果如图2所示。 配置完成后,点击保存按钮输入工作流名称,点击确认,成功保存后界面会自动跳转到工作流列表界面。 图2 配置动态参数例图 配置OBS桶触发器 根据图2所示,工作流的执行时机由触发器决定,当前DWR仅支持OBS的触发器 在
单击界面右上角的“创建工作流”,进入“工作流编排”页面。 将左侧预置的模板或自定义的函数拖拽至编排区域,同时在右侧属性面板配置基本属性和动态参数,配置完成后图标将由白色填充变为蓝色填充。 各预置模板及自定义函数的参数配置说明,请参见官方算子一览。 使用视频解析、抽帧截图、媒资转码等模板需要先在MPC中开启桶授权,详情请参见权限说明。
使事件触发器生效的对象前缀。 说明: 当前缀和后缀都不配置时,事件触发器将作用于桶中所有对象。 后缀 使事件触发器生效的对象后缀。 说明: 文件夹是以“/”结尾的,“/”前的字符为文件夹名称。若要对文件夹进行后缀匹配,后缀必须以“/”结尾。 当前缀和后缀都不配置时,事件触发器将作用于桶中所有对象。
您首先需要在FunctionGraph导入自定义算子需要的函数依赖包。然后需要在FunctionGraph创建自定义抽帧截图函数。之后需要在DWR工作流编排界面完成配置动态参数,创建同步工作流。最后触发工作流进行验证。 图1 操作流程 父主题: 抽帧截图(自定义算子)
建议信息 选择“视频解析“算子 单击“创建工作流“ 在DWR服务中创建工作流 将“视频解析”算子拖拽至编排区域进行串联编排,并填写相关属性配置信息,如图1所示。 bucket为视频处理后的输出桶,这里设置为“piccomp-output”。 保存并填写工作流名称“MediaMetadata”。
抽帧截图(官方算子) 抽帧截图(自定义算子) 视频解析 媒资转码 常见问题 了解更多常见问题、案例和解决方案 热门案例 触发器配置不当导致“无限循环”触发工作流如何处理? 如何测试算子? 一个事件触发器可以设置多个前缀或者后缀吗? 技术专题 技术、观点、课程专题呈现 云计算小课专题 云计算知识哪家强,云上小课来开讲!
数据工坊DWR”。 进入DWR页面。 在左侧导航栏选中“发布算子”,进入“发布算子”页面。 单击界面右上角的“发布公共算子”。 配置算子基本信息。 表1 配置基本信息 参数 说明 算子名称 不能与本用户已有的算子重名。 算子提供方 - 算子描述 - API链接 填写华为云云市场已上架的算子链接。
数据工坊DWR”。 进入DWR页面。 在左侧导航栏选中“发布算子”,进入“发布算子”页面。 单击界面右上角的“发布公共算子”。 配置算子基本信息。 表1 配置基本信息 参数 说明 算子名称 算子名称不能与本用户已有的算子重名。 算子提供方 - 算子描述 - API链接 填写华为云云商店已上架的算子链接。
据工作流函数使用到的服务按需添加。 如果账号的下的IAM用户需要使用DWR,则需要给IAM用户配置FunctionGraph、数据处理服务(如MPC)、SMN等服务的访问权限。具体配置的权限需要和委托的权限保持一致。委托的权限详情可以在“统一身份认证 > 委托”中查看名称以“ob
创建解析对象元数据并封装MPC转码任务的函数。 在FunctionGraph创建函数,选择“Python 2.7”运行时语言,并为函数配置具有访问OBS权限的委托,最后配置函数环境变量:region_id=cn-north-4。创建函数请参见《函数工作流服务用户指南》。 具体代码如下: 1
265_4K_低码_1入9出”,将片源转为4K、2K、1080等码率的视频。该模板实际调用的是MPC服务的新建转码任务接口。 约束与限制 媒资转码算子不支持同步返回,如您配置了同步工作流执行媒资转码算子,则会采用异步方式执行,且返回值会格式异常。 流程一览 操作步骤 在OBS服务中创建桶 在OBS服务控制台创建
业务流程复杂,复杂度高 图形化编排工具,一站式运维平台,复杂度低 DWR的优势 高效:数据处理时间缩短60% 近数据计算:调用算子提供商设定好的云服务器API来执行算子,函数化调用,路径短。 易用:开发运维效率提升50%+ 图形化编排:拖拉式智能模块化操作,免代码。 一站式运维:可视化统一运维平台,降低管理难度。
(水印参数) template_id 水印模板ID。可通过新建水印模板接口创建水印模板。 动态参数 (文字水印配置) text_context 文字水印内容,内容需做Base64编码,此配置项不能为空 示例:若想添加文字水印“测试文字水印”,那么Content的值为:5rWL6K+V5paH5a2X5rC05Y2w
工作流编排”页面。 将“质量变换”算子拖拽至编排区域进行串联编排,并填写相关属性配置信息,如图1所示。 quality_q代表图片按照原图的q%进行压缩,取值范围为[1,100],可根据实际情况配置。 quality_bucket为图片处理后的输出桶,这里设置为“piccomp-