检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime，源端数据库中createtime记录了数据插入的时间，查看未采集到的数据，updatetime要早于createtime，导致任务运行时数据还没有插入updatetime的时
用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息，用于识别不同的连接器。 支持的动作 获取记录 增量获取记录 添加记录 更新记录 同步数据 删除记录 自定义SQL 配置参数 表1 获取记录 参数 说明 表名 选择或者填写要查询的数据库中的表名。 字段名
Connect的数据集成，把业务系统A中的数据进行格式转换后，集成到业务系统B的数据库中使用。后续根据制定的同步计划，定时把业务系统A中新增的数据同步到业务系统B中，保证了两个系统间的数据同步。
本节主要提供数据集成任务异常数据存储的配置说明，仅当目标端数据类型为DB2、DWS、MySQL、GaussDB(for MySQL)、Oracle、PostgreSQL和SQL Server、Gauss100时可配置。 在每次任务执行过程中，如果源端的某些数据符合集成条件，但因为网络
从OBS解析文件到RDS数据库，采集过一次后，后面采集会进行更新吗？ 如果是采集同一个文件，每次在OBS上更新文件，目标端数据库有主键情况下，每次会根据主键更新数据。 如果是采集多个文件，目标端数据库有主键且主键相同的情况下，每次都会更新成时间最早的文件里的值，即数据内容没有变化
262144 默认的批量处理消息字节数上限。producer将试图批处理消息记录，以减少请求次数。这将改善client与server之间的性能。不会试图处理大于这个字节数的消息字节数。 发送到brokers的请求将包含多个批量处理，其中会包含对每个partition的一个请求。 较小的批量处
目标端数据源为公网Kafka时，定时任务目标端报“The task executes failed.Writer data to kafka failed”错误 原因分析 目标端数据源为公网Kafka时，由于网络原因导致定时任务报“The task executes failed
API并对外开放，简化了业务系统间的对接过程，降低了对接成本。 MQS消息堆积最佳实践 消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 定时同步MySQL中的数据到Oracle 通过模板“定时同步MySql中的数据到Oracle”创建组合应用，系统会自动抓取MySQL数据库中的最新数据记
API到MySQL时源端报“401 unauthorized”错误 原因分析 可能是以下两种原因产生该问题： 创建API的时候“安全认证”选择的是“无认证”，创建数据源的时候“认证方式”选了“AppKey Auth”。 创建API的时候“安全认证”选择的是“App认证”，创建数据源的时候“认证方式”选了“AppKey
资产数据，可将备份的资产文件再导入实例进行资产恢复。 建议定期导出资产文件进行数据备份（如按月导出资产文件），以供数据恢复使用。 资产迁移：把其他ROMA Connect实例导出的集成资产文件导入新建的实例，实现集成资产的快速部署和使用。 ROMA Connect的资产导入功能仅
成任务支持的数据源。 若ROMA Connect默认支持的数据源类型无法满足您的数据集成场景，您还可以自定义数据源，具体请参见接入自定义数据源。 支持灵活的集成模式 ROMA Connect支持定时和实时两种集成模式： 定时：根据制定的任务计划，定时获取源端数据并集成到目标端。
填写Oracle数据库的JDBC格式连接串，例如：jdbc:oracle:thin:@{hostname}:{port}:{dbname}。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息，用于识别不同的连接器。 支持的动作 获取记录 添加记录
选择实例，用于后续验证连通性。 连接与安全 选择数据库的连接模式。当前支持“默认”模式，由系统根据用户配置自动拼接数据源连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填
FTP数据源解析模式下支持的最大文件大小为200M，超过200M的文件将自动跳过，不进行采集；解析的数据行数最大为1500000；不解析模式下，支持的最大文件大小为6M，最大文件数量为20000。 说明： FTP数据源之间多个文件同步统计，代表的是本次同步的文件的数量。 OBS数据源类型
用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息，用于识别不同的连接器。 支持的动作 获取数据库变更 实时获取数据库变更 ，需要在数据库中启动CDC配置。 配置参数 表1 获取数据库变更 参数 说明 表名 要获取数据变更的数据表名。 数据库操作 选择数据库变更的操作。
密码 连接数据库的用户密码。 描述 填写连接器的描述信息，用于识别不同的连接器。 支持的动作 获取记录 添加记录 更新记录 删除记录 配置参数 表1 获取记录 参数 说明 表名 要查询的数据库中的表名。 列名 数据表中列名。 WHERE条件 填写要查询数据的条件值（注意值要用英文单引号包住）。
例如：jdbc:mysql://{hostname}:{port}/{dbname}。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 完成数
unauthorized”错误 Kafka集到Mysql目标端报“cannot find record mapping field”错误 API到MySQL的定时任务时会出现源端报“connect timeout”错误 Kafka到Mysql的实时任务时，MQS中的Topic下有数据，但是FDI任务没有采集到数据。
多品牌、多种类的生产设备要实现实时监控管理，则设备数据与环境数据需要采集和上传，不同品牌和种类的设备，使用的数据格式、数据库标准不一。 难以预防设备故障 工厂流水线上，任何一台机器出现故障，会对整条流水线产生巨大的影响。 难以优化企业的生产策略和决策 因为收集到的数据格式不一，给
Kafka集到Mysql目标端报“cannot find record mapping field”错误 原因分析 查看任务mapping配置，源端字段类型的长度超出目标端字段类型的长度限制，或者配置的映射字段中某个字段在源端的数据中不存在。 解决方案 检查字段映射配置的字段类型是否
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
