检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源端API类型数据源自定义周期如何设置? 创建FDI普通任务时,当源端数据源选择API类型并且开启增量迁移时,支持自定义周期,自定义周期配置详细说明可参照以下示例: 当粒度单位为“小时”时,分别有以下四种配置场景。 以时间点2020-11-05 22:10为例,如下图。 周期指定
Kafka数据源连接失败 原因分析 连接地址填写的是MQS内网地址,且MQS同时开启了SSL与VPC内网明文访问时,“是否SSL”选择了“是”。 解决方案 修改“是否SSL”为“否”。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。 父主题: 数据源
APIC如何对流量进行控制? 您可以通过流控策略控制单位时间内API被访问的次数,保护后端服务,详情请参考流量控制。 默认的流控策略是单个API的访问不超过6000次/秒,如果您未创建流控策略,APIC会执行默认流控策略。您可以在ROMA Connect实例控制台“实例信息”页面
FDI任务是否支持清空目标表? FDI创建任务时目标端选择DWS、MySQL、Oracle、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表,其他数据源不支持清空表操作。 父主题: 数据集成普通任务
分支判断 “分支判断”处理器用于创建条件分支,以决定后续节点的执行逻辑。用户需要在“分支判断”节点与其后续相邻节点的连线上配置各分支的条件。 约束与限制 一个“分支判断”节点中,如果存在多个相同的“满足当前条件时”类型的表达式,最终将执行最先创建的分支上的步骤。 一个“分支判断”节
请检查数据源相关配置是否正确,例如数据库名及密码是否填写错误。 请检查数据源IP与FDI是否在同一个VPC内,若不在请先创建对等连接。 如何创建VPC对等连接请参考VPC对等连接。 请检查数据源服务器端防火墙是否开放连接端口。 请检查数据源服务器端IP白名单限制是否添加FDI数据面IP。
据集合后,单击“选择集合字段”,可以选择只需要写入的数据列字段。 是否upsert 写入目标端的数据是否进行更新插入,即是否在目标端数据集合中直接更新已有数据字段。 Upsert键 仅当“是否upsert”选择开启时需要配置。 选择要更新插入的数据字段。 映射规则 配置ROMA
CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为SQL Server数据库开启CDC功能。 前提条件 若SQL Server数据库为主从模式,不支持使用SQL
Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。 选择数据表中“DATE”类型的字段作为源端数据的时间戳,用来判断数据是否满足增量集成的条件。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时,要集成数据的起始时间,即只集成该时间点之后的数据。
连接地址 选择当前实例下MQS的内网连接地址。 是否SSL ROMA Connect与MQS的连接是否使用SSL认证加密。 当MQS开启了SSL且VPC内网明文访问未开启时,请选择“是”,其他情况下选择“否”。 SSL用户名/应用Key 仅当“是否SSL”选择“是”时需要配置。 SSL认证所使用的用户名,如果使用ROMA
间戳,用来判断数据是否满足增量集成的条件。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时,要集成数据的起始时间,即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启:开启后,增量迁移
如果在计费周期内不再使用包年/包月资源,您可以执行退订操作,系统将根据资源是否属于五天无理由退订、是否使用代金券和折扣券等条件返还一定金额到您的账户。详细的退订规则请参见云服务退订规则概览。 如果您已开启“自动续费”功能,为避免继续产生费用,请在自动续费扣款日(默认为到期前7日)之前关闭自动续费。
以root用户登录数据库,执行以下命令,查询变量log_bin的值是否为“ON”,即是否已开启Binlog。 show variables like 'log_bin'; (可选):当创建MySQL CDC任务Schema映射时,MySQL数据库需要先开启配置项:binlog_rows_query_log_events
name正则表达式。 - - sign_basic 签名密钥是否支持Basic类型。 否 - - - - - multi_auth API是否支持双重认证方式。 否 - - - - - backend_client_certificate 是否开启后端双向认证。 是 {"name":"back
Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 ROMA Connect支持Oracle的XStream和LogMiner两种CDC模式,本章节主要介绍如何为Oracle数据库开启XStream模式的CDC功能
MQS连接开发(开源客户端) Java客户端使用说明 Python客户端使用说明 Go客户端使用说明 C#客户端使用说明 其他语言客户端使用说明 附录:如何提高消息处理效率 附录:spring-kafka对接限制 父主题: 消息集成开发指导
执行以下命令,检查日志归档是否已开启。 archive log list; 若回显打印“Database log mode: No Archive Mode”,说明日志归档未开启,继续执行下一步。 若回显打印“Database log mode: Archive Mode”,说明日志归档已开启,直接跳到1
如何调用API 构造请求 认证鉴权 返回结果
Hive目标字段和源端字段数据类型不匹配时,数据是否能集成到目标端? MRS Hive、MRS HBase和MongoDB的Mapping映射手动输入时,是否区分大小写? MRS Hive是否支持分区? 源端API类型数据源自定义周期如何设置? SAP是否支持分页读取视图? 父主题: 数据集成
Connect的返回信息确认消息是否发送成功,如果返回失败需要重新发送。 每次生产消息,生产者都需要等待消息发送API的应答信号,以确认消息是否成功发送。在消息传递过程中,如果发生异常,生产者没有接收到发送成功的信号,生产者自己决策是否需要重复发送消息。如果接收到发送成功的信号,则表明该消息已经被ROMA