检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图解应用与数据集成平台
前任务的运行日志中(日志级别为Debug)。 配置参数 参数 说明 日志信息 设置日志内容,可使用常量,也可通过变量的方式引用前序步骤中的数据,具体请参考引用变量。 父主题: 处理器
台虚拟机。 安装Docker。 Docker版本必须高于17.06,推荐使用18.06.3版本。请勿使用18.09.0版本Docker,如果已使用此版本,请尽快升级。离线安装包获取与安装请参考离线版软件获取与安装方法。 Docker安装完成后,可以执行docker -v命令检查D
通过提供多种场景的ROMA Connect配置样例,帮助您快速熟悉使用ROMA Connect集成数据、服务、消息、设备的过程。 数据集成 数据集成开发场景 连接器RESTful接口规范 自定义数据源开发示例(定时任务) 自定义数据源开发示例(实时任务) 服务集成 服务集成开发场景 API调用认证开发(APP认证)
部分,可通过安全SHELL数据流轻松进行数据传输和数据访问。SFTP也被称为SSH文件传输协议,它提供了一个安全的连接来传输文件,并在本地和远程系统上遍历文件系统。 默认情况下,FTP协议使用TCP端口中的20和21这两个端口,其中20端口用于传输数据,21端口用于传输控制信息(
排序 “排序”处理器用于处理数据的排序。 配置参数 参数 说明 数据集 待排序的数据,可以是上一步传过来的数据,也可以是自定义的数据。 可通过变量的方式引用前序步骤中的数据,请参考引用变量。 参数路径 排序使用的参数。 可通过变量的方式引用前序步骤中的数据,请参考引用变量。 排序方式
Access Key 当前账号的AK(Access Key ID)。请参考访问密钥获取AK,如果已生成过AK/SK,找到原来已下载的AK/SK文件,文件名一般为:credentials.csv。 Secret Access Key 当前账号的SK(Secret Access
异常监控 “异常监控”处理器用于对指定流程进行监控,捕获发生的异常并根据配置的参数进行重试和异常处理操作。 配置参数 参数 说明 错误类型 捕获异常类型。“运行异常”包含当前所有服务异常。 包含错误信息 捕获异常包含错误信息。只有当捕获的异常信息中包含指定错误信息时,会进行异常处理步骤。
变量修改 “变量修改”处理器用于修改前置“变量赋值”节点创建的变量的值。一个“变量修改”节点中可以更新多个变量。 配置参数 参数 说明 选择变量 选择前置“变量赋值”处理器中创建的变量。 变量值 填写修改后的变量值。变量值可以是一个常量,如“hello world”,也可以使用表达式引用前序步骤的变量,例如
源端API类型数据源自定义周期如何设置? 创建FDI普通任务时,当源端数据源选择API类型并且开启增量迁移时,支持自定义周期,自定义周期配置详细说明可参照以下示例: 当粒度单位为“小时”时,分别有以下四种配置场景。 以时间点2020-11-05 22:10为例,如下图。 周期指定
开始时间的UTC的时间戳 end_time Long 截止时间的UTC的时间戳 list Array of StatisticsAPI objects 统计指标的数据结构体 表5 StatisticsAPI 参数 参数类型 描述 max_latency Integer 最大延时 avg_latency Float
源数据库重启等操作对组合任务是否有影响? 在业务使用过程中,Oracle等数据库可能需要扩容、重启等操作,这些操作对组合任务的影响主要包含以下两种: 如果变更中重启耗时较短,组合任务中会重试连接,恢复正常运行任务。 如果变更中重启耗时较长,任务会报错失败,等变更完成,需重启组合任务。
ArtemisMQ ArtemisMQ 是一个开源的高性能消息队列(Message Queue)系统,它是基于 Apache ActiveMQ 和 Apache Artemis 的技术构建而成的。ArtemisMQ 提供了可靠的异步消息传递机制,允许不同的应用程序之间通过消息进行
QQ邮箱 QQ邮箱触发器用于对接QQ邮箱,可以通过接收QQ邮箱新邮件触发。 创建QQ邮箱连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。 选择“QQ邮箱”连接器。 在弹窗中配置连接器信息,完成后单击“确定”。 参数 说明 连接名称
连接器 触发器 HTTP 数据库 华为云服务 SaaS应用 邮箱 其他 消息系统 自定义连接器
用户需要在JIRA的个人设置中生成一个API Token,API Token是一种用于身份验证的令牌,它允许JIRA用户通过API访问其账户和相关数据。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 监听自定义事件 配置参数 参数 说明 监听目标事件 选择要监听的目标事
循环处理 “循环处理”处理器用于循环处理数据,可以指定循环次数、循环条件或者循环数组。 配置参数 参数 说明 类型 指定循环类型。 指定循环次数 指定循环条件 指定循环数组 循环次数 当“类型”为“指定循环次数”时,可配置循环次数,默认值为3,最大循环次数为100,超出后运行报错。
腾讯问卷 腾讯问卷连接器用于实现在工作流中通过配置操作腾讯问卷相关功能。 腾讯问卷是腾讯推出的在线问卷调查平台,提供从问卷设计、数据采集到统计分析的⼀站式专业调查研究服务。 创建腾讯问卷连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。
branch_result=result.分支名称 或者 var branch_result=result['分支名称'] 后续节点为“变量赋值”、“分支判断”和“数据转换”时,使用“$.分支名”获取该分支的执行结果。 失败时停止 并行处理出现错误时的是否停止。 True:表示任一并行处理的分支出现错误时,整个任务便停止,并返回错误信息。
CDC(Binlog) 概述 CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为MySQL数据库开启Binlog模式CDC功能。 前提条件 不支持采集二进制类