检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MMQ类型时需要配置。 数据源为MYSQL、ORACLE、SQLSERVER、DB2、GAUSS100、GaussDB(for MySQL)、ARTEMISMQ、POSTGRESQL、 GaussDB、HIVE类型且mode为default时需要配置。 数据源为IMF类型且mq_type为RabbitMQ时需要配置。
Connect支持的数据源 数据集成任务支持的数据源 表1中为数据集成所支持的全量数据源类型，具体每种数据源所支持的任务模式和集成模式请参见接入数据源。 连接数据源的用户需要有创建连接数据库会话的权限。 表1 数据集成支持的数据源 数据源类型 支持的版本 API 无版本号 ActiveMQ 5.15.9 ArtemisMQ
值不对怎么办？ MRS Hive目标字段和源端字段数据类型不匹配时，数据是否能集成到目标端？ MRS Hive、MRS HBase和MongoDB的Mapping映射手动输入时，是否区分大小写？ MRS Hive是否支持分区？ 源端API类型数据源自定义周期如何设置？ SAP是否支持分页读取视图？
of MappingInfo objects 字段映射列表。 数组长度：1 - 9999 表4 ext_info 参数 是否必选 参数类型 描述 server_id 否 String MySQL的serverId。数据源为MySQL时，ServerID必填。 最小长度：1 最大长度：20
of MappingInfo objects 字段映射列表。 数组长度：1 - 9999 表4 ext_info 参数 是否必选 参数类型 描述 server_id 否 String MySQL的serverId。数据源为MySQL时，ServerID必填。 最小长度：1 最大长度：20
MRS Hive写入时数据全部写在第一个字段里 原因分析 建表时没有使用列分隔符。 解决方案 在数据库中执行以下命令设置分隔符： alter table 表名set serdeproperties('field.delim'='分隔符') 父主题： 数据集成任务
在创建采集任务之前，您需要先接入数据源，确保可以正常从数据源采集模型。根据数据源类型的不同，数据源的接入配置有所差异。 操作步骤 接入DWS数据源 接入GaussDB数据源 接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源
mongodb：mongodb数据源类型 redis：redis数据源类型 postgresql：postgresql/opengauss数据源类型 hive：hive数据源类型 mssql：sqlserver数据源类型 sqlserver：sqlserver数据源类型 dws：dws数据源类型 gauss100：gauss100数据源类型
仅当“插入SQL”选择不开启时需要配置。 当数据库中某个字段的值为JSON格式，且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。 字段名：源表中需要采集子元素的数据字段名称。 类型：JSON格式字段值中，要采集的数据元素的数据类型。 解析路径：数据元素在JSON格
定义写入到目标端文件的数据字段。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 支持以下类型： String: 字符串类型。 Double: 浮点数类型。 Date: 日期时间类型。 Boolean:
MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes. There are 2 datanode(s) running and 2 node(s) are excluded in this
String类型参数进行数据类型转换。 以上面的name（String类型）和id（int类型）参数为例，在同时传入SQL语句时，id参数会被转换为String类型，需要在SQL语句中，使用转换函数把id参数再转换回int类型。此处以cast()函数为例，不同数据库使用的转换函数会有所不同。
数据集成组合任务 目标表中配置的RowId字段类型不正确导致写入数据失败 读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误
Connect进行数据集成，有如下优势： 支持多种类型数据源 ROMA Connect支持接入关系型数据库、大数据存储、半结构化存储、消息系统等多种类型的数据源，具体支持的数据源类型请参见数据集成任务支持的数据源。 若ROMA Connect默认支持的数据源类型无法满足您的数据集成场景，您还可以
控制台。 在左侧的导航栏选择“应用业务模型ABM > 模型采集 > 数据源”，单击“创建数据源”，进入创建数据源页面。接着选择“APIC”类型的数据源，然后在数据源输入框中输入数据源名称。 在页面中配置数据源的连接信息，如下表所示。 表1 数据源连接信息 参数 配置说明 数据源名称
选择待集成数据要写入的数据表。选择数据表后，单击“选择表字段”，可以选择只需要写入的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段，且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数，用来标识同一批次的数据，同一
mongodb：mongodb数据源类型 redis：redis数据源类型 postgresql：postgresql/opengauss数据源类型 hive：hive数据源类型 mssql：sqlserver数据源类型 sqlserver：sqlserver数据源类型 dws：dws数据源类型 gauss100：gauss100数据源类型
objects 源端字段列表。 数组长度：1 - 9999 target_columns Array of MultiTaskColumnInfo objects 目标端字段列表。 数组长度：1 - 9999 mapping Array of MappingInfo objects 字段映射列表。
in this operation”错误 Mysql到Mysql时源端报“Illegal mix of collations for operation 'UNION'”错误 源端Mysql增量采集每小时执行一次时部分数据丢失 API到MySQL时源端报“401 unauthorized”错误
方案概述 应用现状 在数字化转型过程中，一些大型企业的业务系统数据格式多样化，难以在业务系统间形成有效信息传输。如何实现多种数据类型之间灵活、快速的数据集成和转换，成为企业数字化转型所面临的重要问题。 比如企业中不同业务系统数据的存储格式、存储位置各不相同，当一个业务系统需要获取
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
