解决方案 开启归档日志。 以sysdba身份登录Oracle数据库。 执行SQL命令ARCHIVE LOG LIST查询当前数据库的归档状态，如下结果为未开启日志归档。 Database log mode No Archive Mode #非存档模式 Automatic archival Disabled Archive destination USE_DB_RECOVERY_FILE_DEST Oldest online log sequence 1 Current log sequence 2 执行SQL命令SHUTDOWN IMMEDIATE关闭数据库。 执行SQL命令STARTUP MOUNT启动数据库至MOUNT状态。 执行SQL命令ALTER DATABASE ARCHIVELOG启动归档模式。 执行SQL命令ARCHIVE LOG LIST查询归档状态，如下结果为已经开启归档日志。 Databaselogmode Archive Mode #存档模式 Automatic archival Enabled Archive destination USE_DB_RECOVERY_FILE_DEST Oldest online log sequence 1 Next log sequence to archive 2 Currentlogsequence 2 执行SQL命令ALTER DATABASE OPEN启动数据库。 Oracle开启数据库和需要迁移的表的补充日志。 执行以下SQL开启数据库补充日志。 ALTER DATABASE ADD SUPPLEMENTAL LOG DATA; 开启需要实时同步的表的补充日志。 ALTER TABLE "schema_name"."table_name" ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS; 设置成功后通过以下SQL可以查询到ALL_COLUMN_LOGGING说明该表已经开通补充日志。 SELECT 'KEY', LOG_GROUP_TYPE FROM ALL_LOG_GROUPS WHERE OWNER = 'schema_name' AND TABLE_NAME = 'table_name'; "KEY" LOG_GROUP_TYPE KEY ALL_COLUMN_LOGGING 开通Oracle用户所需权限。 Oracle 19权限用户参考命令： sqlplus sys/password@//localhost:1521/ORCLCDB as sysdba CREATE USER mgrationuser IDENTIFIED BY mgrationuserPWD DEFAULT TABLESPACE logminer_tbs QUOTA UNLIMITED ON logminer_tbs CONTAINER=ALL; GRANT CREATE SESSION TO mgrationuser CONTAINER=ALL; GRANT SET CONTAINER TO mgrationuser CONTAINER=ALL; GRANT SELECT ON V_$DATABASE to mgrationuser CONTAINER=ALL; GRANT FLASHBACK ANY TABLE TO mrationuser CONTAINER=ALL; GRANT SELECT ANY TABLE TO mgrationuser CONTAINER=ALL; GRANT SELECT_CATALOG_ROLE TO mgrationuser CONTAINER=ALL; GRANT EXECUTE_CATALOG_ROLE TO mgrationuser CONTAINER=ALL; GRANT SELECT ANY TRANSACTION TO mgrationuser CONTAINER=ALL; GRANT LOGMINING TO mgrationuser CONTAINER=ALL; GRANT CREATE TABLE TO mgrationuser CONTAINER=ALL; -- Don’t need to execute this statement, If you set 'scan.incremental.snapshot.enabled=true' (default). GRANT LOCK ANY TABLE TO mgrationuser CONTAINER=ALL; GRANT CREATE SEQUENCE TO mgrationuser CONTAINER=ALL; GRANT EXECUTE ON DBMS_LOGMNR TO mgrationuser CONTAINER=ALL; GRANT EXECUTE ON DBMS_LOGMNR_D TO mgrationuser CONTAINER=ALL; GRANT SELECT ON V_$LOG TO mgrationuser CONTAINER=ALL; GRANT SELECT ON V_$LOG_HISTORY TO mgrationuser CONTAINER=ALL; GRANT SELECT ON V_$LOGMNR_LOGS TO mgrationuser CONTAINER=ALL; GRANT SELECT ON V_$LOGMNR_CONTENTS TO mgrationuser CONTAINER=ALL; GRANT SELECT ON V_$LOGMNR_PA RAM ETERS TO mgrationuser CONTAINER=ALL; GRANT SELECT ON V_$LOGFILE TO mgrationuser CONTAINER=ALL; GRANT SELECT ON V_$ARCHIVED_LOG TO mgrationuser CONTAINER=ALL; GRANT SELECT ON V_$ARCHIVE_DEST_STATUS TO mgrationuser CONTAINER=ALL; exit; Oracle 11g权限用户参考命令： sqlplus sys/password@host:port/SID AS SYSDBA; CREATE USER mgrationuser IDENTIFIED BY mgrationuserPDW DEFAULT TABLESPACE LOGMINER_TBS QUOTA UNLIMITED ON LOGMINER_TBS; GRANT CREATE SESSION TO mgrationuser; GRANT SELECT ON V_$DATABASE to mgrationuser; GRANT FLASHBACK ANY TABLE TO mgrationuser; GRANT SELECT ANY TABLE TO mgrationuser; GRANT SELECT_CATALOG_ROLE TO mgrationuser; GRANT EXECUTE_CATALOG_ROLE TO mgrationuser; GRANT SELECT ANY TRANSACTION TO mgrationuser; GRANT CREATE TABLE TO mgrationuser; GRANT LOCK ANY TABLE TO mgrationuser; GRANT ALTER ANY TABLE TO mgrationuser; GRANT CREATE SEQUENCE TO mgrationuser; GRANT EXECUTE ON DBMS_LOGMNR TO mgrationuser; GRANT EXECUTE ON DBMS_LOGMNR_D TO mgrationuser; GRANT SELECT ON V_$LOG TO mgrationuser; GRANT SELECT ON V_$LOG_HISTORY TO mgrationuser; GRANT SELECT ON V_$LOGMNR_LOGS TO mgrationuser; GRANT SELECT ON V_$LOGMNR_CONTENTS TO mgrationuser; GRANT SELECT ON V_$LOGMNR_PARAMETERS TO mgrationuser; GRANT SELECT ON V_$LOGFILE TO mgrationuser; GRANT SELECT ON V_$ARCHIVED_LOG TO mgrationuser; GRANT SELECT ON V_$ARCHIVE_DEST_STATUS TO mgrationuser; exit

支持的数据源 实时集成作业支持的数据源如表1所示。 表1 实时集成作业支持的数据源 数据源分类 源端数据源 对应的目的端数据源 相关文档 关系型数据 MySQL Hadoop： MRS Hudi MySQL同步到MRS Hudi作业配置 消息系统：DMS Kafka MySQL同步到Kafka作业配置 数据仓库 ：DWS MySQL同步到DWS作业配置 SQLServer Hadoop：MRS Hudi（公测中） 说明： 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。 SQLServer同步到MRS Hudi作业配置 PostgreSQL 数据仓库：DWS（公测中） 说明： 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。 PostgreSQL同步到DWS作业配置 Oracle 数据仓库：DWS（公测中） 说明： 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。 Oracle同步到DWS作业配置 Hadoop：MRS Hudi（公测中） 说明： 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。 Oracle同步到MRS Hudi作业配置 消息系统 DMS Kafka 对象存储：OBS DMS Kafka同步到OBS作业配置 Apache Kafka Hadoop：MRS Kafka（公测中） 说明： 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。 Apache Kafka同步到MRS Kafka作业配置 父主题： 数据集成（实时作业）

问题案例总览 表1 问题案例总览 类型 相关文档 网络打通 数据源和资源组网络不通如何排查？ 数据源安全组放通哪些端口可满足Migration访问？ Hudi 如何配置Hudi Compaction的Spark周期任务？ DWS MySQL到DWS实时同步中，同步新增列的DDL时报错怎么办？ MySQL到DWS实时同步中，DWS为什么需要对主键null值进行过滤？ Kafka Kafka到 DLI 实时同步中，作业运行失败，报“Array element access needs an index starting at 1 but was 0”怎么办？ Oracle Oracle数据源如何开通归档日志、查询权限和日志解析权限？ PostgreSQL PostgreSQL数据源如何手动删除复制槽？ 父主题： 数据集成（实时作业）

解决方案 对于不同的数据源其使用的端口也不尽相同，具体可通过查看各数据源官方文档确定具体端口。 下表提供部分数据源端口情况，仅供参考。 表1 数据源使用端口概览 数据源 涉及端口 MySQL 3306 DWS 8000 PostgreSQL 5432 Oracle 1521 Kafka 非安全：9092/9094 安全：9093/9095 MRS Hudi MRS Hudi所使用端口较为复杂，具体请参考《MRS集群服务常用端口列表》。 图1 MRS Hudi安全组规则示例