检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
附录：如何提高消息处理效率 消息生产和消费的可靠性必须由ROMA Connect、生产者和消费者协同工作才能保证，对使用ROMA Connect的生产者和消费者有如下的使用建议。 重视消息生产与消费的确认过程 消息生产 生产消息后，生产者需要根据ROMA Connect的返回信息
附录：spring-kafka对接限制 概述 spring-kafka兼容开源Kafka客户端，其与开源Kafka客户端的版本对应关系可参见Spring官网。spring-kafka兼容的Kafka客户端版本主要为2.x.x版本，而ROMA Connect消息集成的Kafka服务端版本为1
自定义数据源开发示例（定时任务） 操作场景 FDI当前支持接入MySQL类型数据库，但因为MySQL是最常用的数据库类型，可以方便开发者参照理解，故本章节以MySQL类型自定义连接器为例进行开发，示例使用Java语言进行开发，Demo代码参考MysqlConnctor.rar。 前提条件
配置索引生命周期策略（可选） ElasticSearch存储的数据，默认未设置过期时间，用户可根据磁盘空间情况，为ElasticSearch数据设置索引生命周期策略。 创建生命周期策略 登录Kibana可视化界面。 访问地址：IP:Port 其中，IP为ELK所部署服务器的IP；
获取数据源中某个表中所有字段 功能介绍 获取数据源中某个表中所有字段。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/fd
创建设备自定义Topic 功能介绍 在ROMA Connect创建一个Topic。 URI POST /v1/{project_id}/link/instances/{instance_id}/topics 表1 参数说明 名称 类型 是否必填 描述 project_id string
Mysql到Mysql时源端报“Illegal mix of collations for operation 'UNION'”错误 原因分析 从源端数据源视图中查看，视图定义语句使用了union，但是union两边字段编码不一致，须统一编码。 解决方案 建议使用CONVERT转换为统一编码，如：CONVERT
Kafka集到Mysql目标端报“cannot find record mapping field”错误 原因分析 查看任务mapping配置，源端字段类型的长度超出目标端字段类型的长度限制，或者配置的映射字段中某个字段在源端的数据中不存在。 解决方案 检查字段映射配置的字段类型
Java客户端使用说明 操作场景 本文介绍Java版本的Kafka客户端连接指导，并完成客户端连接以及消息生产与消费的相关示例。 前提条件 已获取MQS连接信息，具体请参见开发准备。 已安装开发工具和Java开发语言环境，具体请参见开发准备。 引入Kafka客户端 MQS基于Kafka社区版本1
Go客户端使用说明 操作场景 本文以Linux CentOS环境为例，介绍Go版本的Kafka客户端连接指导，包括Kafka客户端安装，以及生产、消费消息。 前提条件 已获取MQS连接信息，具体请参见开发准备。 已安装开发工具和Python开发语言环境，具体请参见开发准备。 引入Kafka客户端
源端API类型数据源自定义周期如何设置？ 创建FDI普通任务时，当源端数据源选择API类型并且开启增量迁移时，支持自定义周期，自定义周期配置详细说明可参照以下示例： 当粒度单位为“小时”时，分别有以下四种配置场景。 以时间点2020-11-05 22:10为例，如下图。 周期指定
Python客户端使用说明 操作场景 本文以Linux CentOS环境为例，介绍Python版本的Kafka客户端连接指导，包括Kafka客户端安装，以及生产、消费消息。 前提条件 已获取MQS连接信息，具体请参见开发准备。 已安装开发工具和Python开发语言环境，具体请参见开发准备。
购买RCU时套餐包，当月未使用完的RCU时下个月是否可以继续使用？ 不可以，上个生效月RCU时余量不可以转结到下个生效月。 父主题： 计费FAQ
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime，源端数据库中createtime记录了数据插入的时间，查看未采集到的数据，updatetime要早于createtime，导致任务运行时数据还没有插入updatetime的
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点，其中两个节点ping不通API的IP。 解决方案 属于网络问题，需要找VPC定位。 父主题： 数据集成任务
MRS Hive写入时数据全部写在第一个字段里 原因分析 建表时没有使用列分隔符。 解决方案 在数据库中执行以下命令设置分隔符： alter table 表名set serdeproperties('field.delim'='分隔符') 父主题： 数据集成任务
其他语言客户端使用说明 MQS完全兼容Kafka开源客户端。 如果您使用其他语言，也可以从Kafka官网获取客户端，按照Kafka官网提供的连接说明，与MQS对接。 获取客户端的地址请参考Kafka官网。 父主题： MQS连接开发（开源客户端）
C#客户端使用说明 操作场景 本文介绍C#版本的Kafka客户端连接指导，包括Kafka客户端安装，以及生产、消费消息。 前提条件 已获取MQS连接信息，具体请参见开发准备。 已安装开发工具和C#开发语言环境，具体请参见开发准备。 引入Kafka客户端 MQS基于Kafka社区版本1
源数据库重启等操作对组合任务是否有影响？ 在业务使用过程中，Oracle等数据库可能需要扩容、重启等操作，这些操作对组合任务的影响主要包含以下两种： 如果变更中重启耗时较短，组合任务中会重试连接，恢复正常运行任务。 如果变更中重启耗时较长，任务会报错失败，等变更完成，需重启组合任务。
目标表中配置的RowId字段类型不正确导致写入数据失败 原因分析 使用RowId的方式采集Oracle表数据时，由于设置表字段类型不正确，导致报错，如下图。 解决方案 修改表字段类型，RowId一般是使用字母、数字生成的18位字符串，采集到目标端需要为字符类型。 父主题： 数据集成组合任务
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
