云服务器内容精选
-
支持的数据源 实时集成作业支持的数据源如表1所示。 表1 实时集成作业支持的数据源 数据源分类 源端数据源 对应的目的端数据源 相关文档 关系型数据 MySQL Hadoop： MRS Hudi MySQL同步到MRS Hudi 消息系统：DMS Kafka MySQL同步到DMS Kafka 数据仓库 ：DWS MySQL同步到DWS SQLServer Hadoop：MRS Hudi（公测中） 说明： 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。 SQLServer同步到MRS Hudi PostgreSQL 数据仓库：DWS（公测中） 说明： 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。 PostgreSQL同步到DWS Oracle 数据仓库：DWS（公测中） 说明： 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。 Oracle同步到DWS Hadoop：MRS Hudi（公测中） 说明： 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。 Oracle同步到MRS Hudi 消息系统 DMS Kafka 对象存储：OBS DMS Kafka同步到OBS Apache Kafka Hadoop：MRS Kafka（公测中） 说明： 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。 Apache Kafka同步到MRS Kafka 父主题： 数据集成（实时作业）
-
基本特性 实时数据集成为大数据开发提供了支撑，具有以下特性： 实时性：支持数据秒级同步。 可靠性：通过异常恢复，自动重试等机制确保数据的一致性和准确性。 多样性： 数据源多样性：源端和目的端有多种数据源可供选择，为用户提供了多种选择。 场景多样性：部分链路支持全量和增量同步，部分链路支持分库分表。 可维护性：支持作业监控和日志查看，方便运维人员进一步定位。 易用性：长界面更易操作，用户只需配置必要信息，学习成本减低。
-
功能概述 实时集成作业支持多种数据源、多种场景下的实时数据同步，用户可根据自主需求，一次性全量加实时增量同步多个库表，功能总览如下图所示。 图2 功能总览图 表1 基本功能 功能 描述 多种数据源间的数据同步 支持多种数据源链路组合，您可以将多种输入及输出数据源搭配组成同步链路进行数据同步。详情请参见支持的数据源。 复杂网络环境下的数据同步 支持云数据库、本地IDC、E CS 自建数据库等多种环境下的数据同步。在配置同步任务前，您可以根据数据库所在网络环境，选择合适的同步解决方案来确保数据集成资源组与您将同步的数据来源端与目标端网络环境已经连通，对应数据库环境与网络连通配置详情请参见：网络打通。 多类场景下的数据同步 支持单表、整库及分库分表实时增量数据同步。 单表同步：支持将源端一个实例下的单张表实时同步至目的端一个实例下的单张表。 整库同步：支持将源端一个实例下多个库的多张表批量实时同步到目的端一个实例下的多个库表，一个任务中最多支持200张目标表。 分库分表同步：支持将源端多个实例下多个分库的多张分表同步到目的端一个实例下的单个库表。 实时同步任务配置 支持通过简易的可视化配置完成实时数据同步。 数据源自定义参数配置。 图形化选择源端库表、正则匹配源端库表。 自定义源端与目的端库表匹配规则。 字段映射：附加字段、字段赋值（常量、变量、UDF）。 自动建表. 定义DDL消息处理策略。 实时同步任务运维 支持异常恢复、暂停恢复、动态增减表、任务监控、配置告警、查看及导出任务日志等运维功能。
-
同步场景 Migration实时同步功能支持多种拓扑类型的同步场景，用户可根据自身需求进行规划，详细说明可参考以下内容。 单表同步 支持将源端一个实例下的单张表实时同步至目的端一个实例下的单张表。 图3 单表同步 整库同步 支持将源端一个实例下多个库的多张表批量实时同步到目的端一个实例下的多个库表，一个任务中最多支持200张目标表。 图4 整库同步 分库分表同步 支持将源端多个实例下多个分库的多张分表同步到目的端一个实例下的单个库表。 图5 分库分表同步
-
问题描述 1. 运行migration mysql2dws链路的实时同步作业，DDL同步中对增加列操作设置为“正常处理”。 2. 在目的端DWS表有数据的场景下，源端MySQL执行DDL语句，添加带非空约束的列，默认值为空字符串，如：alter table test add column t_col varchar(30) not null default '' 3. migration作业产生异常，报错执行DDL失败，失败原因为：column "t_col" contains null values。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格
