检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集成API错误码 更多服务错误码请参见API错误中心。 状态码 错误码 错误信息 描述 处理措施 400 FDI.3002 Invalid parameters. 存在非法参数。 参考API文档修改非法参数。 400 FDI.3016 Failed to test the connectivity
落盘等。 方案一：先迁生产，再迁消费 方案介绍 本方案中，先将生产消息的业务迁移到ROMA Connect，原Kafka不会有新的消息生产。待原Kafka的消息全部消费完成后，再将消费消息业务迁移到ROMA Connect，开始消费新的消息。 该案为业界通用的迁移方案，操作步骤简
Connect按照任务计划进行数据集成。首次执行时，会把所有符合条件的源端数据集成到目标端，后续根据任务配置，集成符合条件的全量数据或只集成增量数据。 启动数据集成任务。 在数据集成任务左侧勾选上要启动的任务，单击任务列表上方的“启动”，启动任务。任务启动成功后，“任务状态”变为“启动”。
准备工作 在进行集成资产的恢复或迁移前，您需要做如下准备： 准备集成资产包。 获取用于导入的集成资产包。 获取资产包所属源实例的配置信息，仅资产迁移场景需要。 主要包括实例的安全组配置、实例配置参数和数据字典信息。 获取周边系统的对接信息，仅资产迁移场景需要。 系统 数据项 用途 数据源
、实例配置参数、数据字典等。 在资产迁移场景，实例配置参数应与资产包所属的源实例一致，否则会导致资产导入失败。 操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 修改安全组配置，仅资产迁移场景需要，否则跳过此步。 在“实例信
Kafka数据源连接失败 原因分析 连接地址填写的是MQS内网地址，且MQS同时开启了SSL与VPC内网明文访问时，“是否SSL”选择了“是”。 解决方案 修改“是否SSL”为“否”。 如果排除以上问题后，仍然连接失败，可参考数据源连接测试失败排查操作进行问题排查。 父主题： 数据源
创建数据源 功能介绍 创建数据源。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/fdi/instances/{inst
修改集成应用配置 概述 集成应用的用户授权信息为非资产数据，在导入集成资产后根据需要重新配置。 对于资产恢复场景，需要对导入的集成应用进行配置。 对于资产迁移场景，可根据实际使用逐步配置。 前提条件 已完成集成资产的导入。 操作步骤 在实例控制台的“集成应用”页面，单击集成应用右侧的“应用授权管理”。
向DWS写入数据时越来越慢怎么解决 原因分析 查看界面上的采集数据，如果写入数据耗时在秒级，属于正常的情况。如果写入几千条数据超过5秒，一般是性能劣化的表现。 解决方案 如果对DWS的某个表频繁访问，会导致写入性能逐渐降低，需要对DWS进行调优，例如，定时使用analyze规划表、VACUUM FULL等。
创建API的时候“安全认证”选择的是“App认证”，创建数据源的时候“认证方式”选了“AppKey Auth”，“App认证方式”选择了“Secret”。 解决方案 解决方案如下： 创建数据源的时候“认证方式”选择“None”。 将“App认证方式”修改为“Default”。 父主题： 数据集成任务
创建组合任务 概述 FDI支持创建组合任务，组合任务适用于需要持续同步实时数据的场景。实现一个源端多个数据表到一个目标端多个数据表的实时同步及增量同步，提高了数据的集成同步效率。 组合任务支持数据表之间字段（列）级别的灵活映射，例如源端一个数据表中的多个字段可分别映射到目标端的不
"c": "xx", "d": "xx" } } } 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 数据根字段设置为a 元数据的解析路径从元
存储过程调用 当前数据API不支持直接创建存储过程，但是可以执行MySQL、Oracle、PostgreSQL这三种数据源的存储过程，以Oracle数据库为例说明。 数据源说明 假设数据库里面有一张表，表结构如下建表语句所示： create table sp_test(id number
增量数据获取开始时区。 增量获取时间戳字段 增量数据获取的时间戳字段。 增量获取时间戳初始值 增量数据获取的时间戳初始值。 重置增量获取时间初始值 选择是否开启重置增量获取时间初始值。 增量获取时间补偿(毫秒） 增量获取时间补偿。 表5 删除记录 参数 说明 表名 选择或者填写数据库中要删除数据的表名。
早于createtime，导致任务运行时数据还没有插入updatetime的时间已经不在增量采集的时间段之内，所以部分数据采集不到。 解决方案 调整源端数据库的updatetime时间或任务配置时使用createtime作为时间戳字段。 父主题： 数据集成任务
2003语法，同时兼容PostgreSQL/Oracle/Teradata/MySQL等数据库生态，为各行业PB级海量大数据分析提供有竞争力的解决方案。 创建DWS连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”，在连接器页面单击“新建连接”。 选择“DWS”连接器。
增量数据获取的时间戳字段。 增量获取时间戳初始值 增量数据获取的时间戳初始值。 重置增量获取时间初始值 选择是否开启重置增量获取时间初始值。 增量获取时间补偿(毫秒） 增量获取时间补偿。 表3 添加记录 参数 说明 表名 填写要插入数据的数据表名。 插入数据 填写插入操作中目标字段的值。
MRS Hive写入时数据全部写在第一个字段里 原因分析 建表时没有使用列分隔符。 解决方案 在数据库中执行以下命令设置分隔符： alter table 表名set serdeproperties('field.delim'='分隔符') 父主题： 数据集成任务
配置数据映射规则 概述 本节主要提供数据集成任务Mapping信息的配置说明。Mapping信息用于告诉ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。 约束与限制 源端与目标端字段名请勿使用对应数据库的关键字，否则可能导致任务运行异常。
配置映射规则 概述 本节主要提供数据集成任务映射规则的配置说明。可以通过配置ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。规则映射有映射模式和脚本模式两种模式，其中映射模式包含自动配置和手动配置两种方式。 约束与限制 源
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
