检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的表达式进行拆分,并将拆分的结果通过节点变量传递给后续节点。通常“数据拆分”组件后续会连接“数据筛选”组件以配合使用。 “数据拆分”为异步处理组件,如果一个任务中存在“数据拆分”节点,最终开放的API将返回传入“数据拆分”节点时的数据。 配置参数 参数 说明 表达式 数据拆分的表达式。
日志采集 “日志采集”处理器用于自定义日志信息,并显示在当前任务的运行日志中(日志级别为Debug)。 配置参数 参数 说明 日志信息 设置日志内容,可使用常量,也可通过变量的方式引用前序步骤中的数据,具体请参考引用变量。 父主题: 处理器
“异常监控”处理器用于对指定流程进行监控,捕获发生的异常并根据配置的参数进行重试和异常处理操作。 配置参数 参数 说明 错误类型 捕获异常类型。“运行异常”包含当前所有服务异常。 包含错误信息 捕获异常包含错误信息。只有当捕获的异常信息中包含指定错误信息时,会进行异常处理步骤。 重试次数
变量修改 “变量修改”处理器用于修改前置“变量赋值”节点创建的变量的值。一个“变量修改”节点中可以更新多个变量。 配置参数 参数 说明 选择变量 选择前置“变量赋值”处理器中创建的变量。 变量值 填写修改后的变量值。变量值可以是一个常量,如“hello world”,也可以使用表达式引用前序步骤的变量,例如
XML校验 “XML校验”处理器用于对XML格式数据处理时,进行内容校验与处理。如校验正确在系统日志中没有错误信息,校验失败系统日志中会打印异常信息,并结束流任务的运行。 配置参数 参数 说明 XML 待校验的xml数据,文本输入大小限制10万字符。 XML Schemas Definition
非对称加解密 “非对称加解密”处理器用于使用指定的非对称加密算法对明文进行加密、对密文进行解密操作。 配置参数 参数 说明 私钥 解密时必填,base64编码。 公钥 加密时必填,base64编码。 操作 当前支持非对称加密、非对称解密。 加密算法 加密算法,当前支持RSA。 明文
行签名。详细的签名方法和SDK使用方法请参见API签名指南。 签名SDK只提供签名功能,与服务提供的SDK不同,使用时请注意。 父主题: 如何调用API
使用iOS系统时,如何进行APP认证? 目前APIC为APP认证提供了Java、Python、C、PHP、Go等多种语言的SDK与demo,当您使用iOS系统或者其他未包含在内的语言时,请参考APP认证工作原理进行APP认证。 父主题: 服务集成
Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 ROMA Connect支持Oracle的XStream和LogMiner两种CDC模式,本章节主要介绍如何为Oracle数据库开启XStream模式的CDC功能。另外,根据Oracle数据库类型为CDB数据库还是非CDB数据库,CDC的配置有所不同。
源端API类型数据源自定义周期如何设置? 创建FDI普通任务时,当源端数据源选择API类型并且开启增量迁移时,支持自定义周期,自定义周期配置详细说明可参照以下示例: 当粒度单位为“小时”时,分别有以下四种配置场景。 以时间点2020-11-05 22:10为例,如下图。 周期指定
FDI通过公网对接其他租户的MRS HIVE如何配置? 首先需要将MRS的IP全部绑定EIP,然后在MRS配置文件中的私网IP全部替换成EIP,再到hdfs-site.xml文件中添加一个配置项“dfs.client.use.datanode.hostname”,值设为“true”。
生异常,将不会提交消费偏移量,等待修复问题后,重启任务,可以重新消费并处理未成功入库的数据。所以即使修改了任务配置,如果数据还是不符合目标端的要求,那么任务仍然执行失败。 解决方案 可参考以下三种方法进行处理: Kafka通道的topic中的数据老化时间为6小时,可以等待脏数据被清理掉后启动任务。
Kafka Kafka是一个分布式流处理平台,最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台,可以处理大量的实时数据流。Kafka主要由三个部分组成:生产者、消费者和代理服务器。生产者将数据发布到Kafka集群,消费者从Kafka集群订阅数据并进行处理,代理服务器则是Kafka
Kafka Kafka是一个分布式流处理平台,最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台,可以处理大量的实时数据流。Kafka主要由三个部分组成:生产者、消费者和代理服务器。生产者将数据发布到Kafka集群,消费者从Kafka集群订阅数据并进行处理,代理服务器则是Kafka
Consumer使用建议 Consumer的owner线程需确保不会异常退出,避免客户端无法发起消费请求,阻塞消费。 确保处理完消息后再做消息commit,避免业务消息处理失败,无法重新拉取处理失败的消息。 Consumer不能频繁加入和退出group,频繁加入和退出,会导致Consumer频繁做rebalance,阻塞消费。
如何修复意外重启等原因导致的XStream模式Oracle CDC功能异常? 因Oracle数据库意外重启等原因导致CDC功能异常时,可以在Oracle数据库中执行以下命令来排查和修复。 以sys用户连接到Oracle数据库,然后执行以下命令: SELECT CAPTURE_NAME
使用ROMA Connect进行消息集成,有如下优势: 支持原生Kafka特性 兼容社区版Kafka的API,具备原生Kafka的所有消息处理特性。 支持安全的消息传输 独有的安全加固体系,提供业务操作云端审计,消息传输加密等有效安全措施。通过SASL认证,安全组等加强网络访问控制。
实例中MQS消息存储达到容量阈值时(存储空间的95%)的处理策略,请根据您的业务需要选择。 生产受限:拒绝消息生产请求,直到有消息到达老化时间被删除,腾出存储空间后(剩余存储空间大于5%),才能接收新的消息生产请求。此策略适用于消息消费处理较慢,或者对存量消息需要反复消费,不能提前删除的场景。
函数工作流 函数工作流连接器用于对接华为云函数工作流(FunctionGraph)服务,可以调用已创建的函数进行数据处理,后续节点可引用变量的方式引用函数处理的结果。 前提条件 使用函数工作流服务时,还需要具备项目级服务FunctionGraph Administrator角色权限。
能力。API分为两部分,第一部分为面向API使用者的API接口,定义了使用者如何调用这个API。第二部分面向API提供者,由API提供者定义这个API的真实的后端情况,定义了ROMA Connect如何去访问真实的后端服务。API的真实后端服务目前支持三种类型:传统的HTTP/H