检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在数字化转型过程中，一些大型企业的业务系统数据格式多样化，难以在业务系统间形成有效信息传输。如何实现多种数据类型之间灵活、快速的数据集成和转换，成为企业数字化转型所面临的重要问题。 比如企业中不同业务系统数据的存储格式、存储位置各不相同，当一个业务系统需要获取另一个业务系统的某些数据时，就会出现获
创建API的时候“安全认证”选择的是“App认证”，创建数据源的时候“认证方式”选了“AppKey Auth”，“App认证方式”选择了“Secret”。 解决方案 解决方案如下： 创建数据源的时候“认证方式”选择“None”。 将“App认证方式”修改为“Default”。 父主题： 数据集成任务
向DWS写入数据时越来越慢怎么解决 原因分析 查看界面上的采集数据，如果写入数据耗时在秒级，属于正常的情况。如果写入几千条数据超过5秒，一般是性能劣化的表现。 解决方案 如果对DWS的某个表频繁访问，会导致写入性能逐渐降低，需要对DWS进行调优，例如，定时使用analyze规划表、VACUUM FULL等。
生异常，将不会提交消费偏移量，等待修复问题后，重启任务，可以重新消费并处理未成功入库的数据。所以即使修改了任务配置，如果数据还是不符合目标端的要求，那么任务仍然执行失败。 解决方案 可参考以下三种方法进行处理： Kafka通道的topic中的数据老化时间为6小时，可以等待脏数据被清理掉后启动任务。
IllegalArgumentException: {IP address}_{timestamp}”错误 原因分析 ROMA Connect实例未绑定弹性公网IP。 解决方案 为ROMA Connect实例绑定弹性公网IP，绑定成功后再运行demo。 父主题： 设备集成
在DWS磁盘空间达到阈值，例如80%，或者某些大数据量的表存在数据倾斜时，DWS集群会变为只读状态。从FDI侧来看，在某个时间点，所有访问DWS的任务均异常停止。 解决方案 处理DWS只读状态问题，恢复数据库服务后，如果FDI的任务停止时间没有超过6小时，可以直接启动任务。如果已经超过6小时，通道内的数据已经过
构造请求 本节介绍REST API请求的组成，并以调用IAM的获取用户Token接口说明如何调用API，该API获取用户的Token，Token可以用于调用其他API时鉴权。 请求URI 请求URI由如下部分组成。 {URI-scheme}://{Endpoint}/{resource-path}
库之间的连接，并管理数据的传输。 数据仓库服务GaussDB(DWS)是一种基于华为云基础架构和平台的在线数据分析处理数据库，提供即开即用、可扩展且完全托管的分析型数据库服务，兼容ANSI/ISO标准的SQL92、SQL99和SQL 2003语法，同时兼容PostgreSQL/O
表名存在乱码导致Camel访问数据库失败 原因分析 访问数据库使用参数不正确，导致组合任务启动失败，任务终止。 解决方案 检查数据库中是否有表名存在乱码的情况，如果存在请和数据库管理员沟通后删除乱码表名的表，然后重新启动任务。 父主题： 数据集成组合任务
的不同字段。 存储子路径 在MRS HDFS的“hdfs:///hacluster”路径下，要集成数据的存储路径。 存储块大小(M) ROMA Connect从MRS HDFS数据源获取数据时，每次读取的数据大小。 存储类型 选择MRS HDFS数据源中数据的存储类型，需要与MRS
的信号，则表明该消息已经被ROMA Connect可靠存储。 消息消费 消息消费时，消费者需要确认消息是否已被成功消费。 生产的消息被依次存储在ROMA Connect的存储介质中。消费时依次获取ROMA Connect中存储的消息。消费者获取消息后，进行消费并记录消费成功或失败的状态，并将消费状态提交到ROMA
Hive目标端写入时出现数据乱码 原因分析 创建任务时，目标端存储类型选择与建表时类型不一致。 比如建表时存储类型为text（文本文件），而创建任务时目标端存储类型选择了RCFile格式。 解决方案 修改界面选择的存储类型与建表时一致即可。 父主题： 数据集成任务
I任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址，所以本实例下的MQS中虽然有消息，但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置，修改数据源配置为正确的MQS地址。 父主题： 数据集成任务
同的性能规格，分配的RCU数量越多，集成能力的性能规格越高。 连接器 ROMA Connect支持常见的数据源类型，如关系型数据库、大数据存储、半结构化存储、消息系统等。如果ROMA Connect支持的数据源类型无法满足您的数据集成场景，您可以自行开发一个数据源读写插件，通过标准的RESTful接口与ROMA
目标端任务报任务运行超时 原因分析 任务名称超过64个字符，且多个定时任务名称前64位都相同。 解决方案 修改任务名称长度及多个任务名称前64位相同的问题。 父主题： 数据集成任务
Kafka数据源连接失败 原因分析 连接地址填写的是MQS内网地址，且MQS同时开启了SSL与VPC内网明文访问时，“是否SSL”选择了“是”。 解决方案 修改“是否SSL”为“否”。 如果排除以上问题后，仍然连接失败，可参考数据源连接测试失败排查操作进行问题排查。 父主题： 数据源
backend available”错误 原因分析 可能是以下两种原因导致，请逐一排查： 后端服务无法访问。 ECS安全组未开放需要的端口。 解决方案 请修改后端服务。 修改ECS安全组配置，开放需要的端口。 父主题： 服务集成
Connect的高度可扩展性设计，支撑园区海量的数据传输与存储，提升数据传输效率。 融合IT、OT、AI，构建智能运营中心 由于ROMA Connect打通了数据集成与共享的通道，企业可以借助企业级人工智能、视频分析、大数据云服务等解决方案，打造真正的智慧园区大脑。 集中+分布式的架构支撑园区业务
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点，其中两个节点ping不通API的IP。 解决方案 属于网络问题，需要找VPC定位。 父主题： 数据集成任务
operation 'UNION'”错误 原因分析 从源端数据源视图中查看，视图定义语句使用了union，但是union两边字段编码不一致，须统一编码。 解决方案 建议使用CONVERT转换为统一编码，如：CONVERT (ID USING utf8 ) AS ID。 父主题： 数据集成任务
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
