检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据数据源类型的不同，数据源的接入配置有所差异。 操作步骤 接入DWS数据源 接入GaussDB数据源 接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源
接入FTP数据源 接入HL7数据源 接入HANA数据源 接入HIVE数据源 接入LDAP数据源 接入IBM MQ数据源 接入Kafka数据源 接入MySQL数据源 接入MongoDB数据源 接入MQS数据源 接入MRS Hive数据源 接入MRS HDFS数据源 接入MRS HBase数据源
0-SNAPSHOT.jar & 以MQS数据源作为源端，MySQL作为目标端为例创建实时任务。 参考创建数据集成任务（普通任务）接入源端MQS数据源和目标端MySQL数据源，并创建实时任务。完成后运行任务，可以将源端MQS数据源中的数据，迁移到MySQL数据源的表中。 父主题： 数据集成开发指导
的数据不支持同步。 源端MySQL数据源： 如果MySQL数据库使用的是MGR集群模式，在接入源端数据源时，必须直接连接主节点，不能连接route节点。 如果MySQL数据库中数据量特别巨大，在首次执行数据同步时可能会连接数据库超时，可以通过修改MySQL数据库的超时参数inte
填写文件名前缀，与“文件名后缀”配合使用，用于定义写入FTP数据源的文件名称。 文件名后缀 选择文件名后缀，可选择不同的时间戳格式，与“文件名前缀”配合使用，用于定义写入FTP数据源的文件名称。 文件内容类型 选择要写入数据的数据文件内容类型，可选择“文本文件”和“二进制文件”。 文件类型 选择要写入数据的数据文件
id、name和info为要写入到Kafka数据源的数据字段。 图3 Kafka配置示例 写入Kafka的消息内容结构为{"id":"xx", "name":"yy", "info":"zz"}，其中xx、yy、zz为从源端传入的数据值。 MySQL 返回页首 任务的“集成模式”
目的端数据格式选择“MySQL”，在选择表名后，目的端数据源页签会自动生成数据库表中的字段。 以下面的组合应用为例，该组合应用的主要功能是调用Open API获取OBS指定桶的对象列表，并将结果中的桶名称和对象名称通过数据映射，映射到MySql指定表中的相关字段，然后使用MySql添加记录的
多个数据源编排 一个数据API可以包含多个数据源，因此一次API请求可以涉及多个数据源，例如取第一个数据源查询结果作为第二个数据源的参数。 以MySQL为例说明，假设数据API有数据源1和数据源2，user01是数据源1的数据表和user02是数据源2的数据表，两张表的结构如下： 表1 表结构
以上面JSON格式数据中不含数组的样例为例，源端为Kafka的配置示例如下图所示。 图5 Kafka配置示例 MySQL 返回页首 任务的“集成模式”为“定时”时，可以选择MySQL作为源端数据源，具体配置如下。 表7 源端MySQL信息 参数 配置说明 插入SQL 选择是否使用SQL语句来获取源端数据。 开启，表示ROMA
数据源为GAUSS100、POSTGRESQL类型时配置“big5”。 数据源为MYSQL、GaussDB(for MySQL)类型且mode为default时配置。 最小长度：0 最大长度：10 mysql_timeout 否 Integer MYSQL连接超时时间（秒）。 最小值：1 最大值：20000
数据源为GAUSS100、POSTGRESQL类型时配置“big5”。 数据源为MYSQL、GaussDB(for MySQL)类型且mode为default时配置。 最小长度：0 最大长度：10 mysql_timeout 否 Integer MYSQL连接超时时间（秒）。 最小值：1 最大值：20000
数据源为GAUSS100、POSTGRESQL类型时配置“big5”。 数据源为MYSQL、GaussDB(for MySQL)类型且mode为default时配置。 最小长度：0 最大长度：10 mysql_timeout Integer MYSQL连接超时时间（秒）。 最小值：1 最大值：20000
907(读取任务被拒绝执行，因为上一次调度还没有结束) 908(写入任务正在在排队中（平台资源）) 909(写入任务被拒绝执行，因为上一次调度还没有结束) 911(读取任务没有被正常开启，请检查网络是否通畅，参数是否正确) 912(写入任务没有被正常开启，请检查网络是否通畅，参数是否正确)
数据源为GAUSS100、POSTGRESQL类型时配置“big5”。 数据源为MYSQL、GaussDB(for MySQL)类型且mode为default时配置。 最小长度：0 最大长度：10 mysql_timeout Integer MYSQL连接超时时间（秒）。 最小值：1 最大值：20000
MQS消息堆积最佳实践 消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 定时同步MySQL中的数据到Oracle 通过模板“定时同步MySql中的数据到Oracle”创建组合应用，系统会自动抓取MySQL数据库中的最新数据记录，并将其无缝对接到Oracle数据库中，实现两个数据库之间的高效、准确的数据更新与同步。
置。 接入数据源 接入DWS数据源 接入Gauss100数据源 接入HANA数据源 接入HIVE数据源 接入MongoDB数据源 接入MySQL数据源 接入Oracle数据源 接入PostgreSQL数据源 接入Redis数据源 接入SQL Server数据源 父主题： 创建并开放数据API
ActiveMQ Jira Software 定时器 ArtemisMQ RabbitMQ 事件网格 QQ邮箱 IBM MQ Kafka MySQL Oracle PostgreSQL Sql Server 父主题： 连接器
设置数据源类型，可以为"mysql","mssql","oracle","postgresql","hive","redis","mongodb" 输入参数 type：类型 public void setUrl(String url) 设置数据源连接字符串。 如果数据源类型为"mysql","mssql"
创建数据集成任务（组合任务） 配置Oracle CDC（LogMiner） 配置Oracle CDC（XStream） 配置MySQL CDC（Binlog） 配置SQL Server CDC 创建组合任务 父主题： 数据集成指导
Deploy）提供可视化、一键式部署服务，支持部署到虚拟机或者容器，提供Tomcat、SpringBoot等模板或者自由组装编排原子步骤进行部署，支持并行部署和流水线无缝集成，实现部署环境标准化和部署过程自动化。 前提条件 使用CodeArts Deploy前，需要开通CodeArts Deploy服务。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
