检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
strings ID列表，ID字符串。 del_types 否 String 删除类型。 枚举值： PHYSICAL_TABLE: 是否删除数据库物理表，只针对能物化的表生效（配置此值则表示删除） 响应参数 状态码： 200 表4 响应Body参数 参数 参数类型 描述 data data
vpc:publicIps:list vpc:vpcs:get vpc:subnets:get 创建MRS数据连接 RDS rds:*:get rds:*:list 创建RDS数据连接 数据集成 VPC vpc:publicIps:get vpc:publicIps:list vpc:vpcs:get
源官方文档确定具体端口。 下表提供部分数据源端口情况，仅供参考。 表1 数据源使用端口概览 数据源 涉及端口 MySQL 3306 DWS 8000 PostgreSQL 5432 Oracle 1521 Kafka 非安全：9092/9094 安全：9093/9095 MRS Hudi
dw_id 否 String 连接id。 db_type 否 String 数据源类型。 database_name 否 String 数据库名称。 table_name 否 String 表名称。 table_id 否 String 表ID。 column_names 否 Array
datasource_type String 数据源类型 HIVE数据源 DWS数据源 DLI数据源 database_name String 数据库名称。 schema_name String 模式名称。 namespace String 命名空间。 table_name String
响应Body参数 参数 参数类型 描述 datastores Array of CdmClusterDatastore objects 数据库列表。 表4 CdmClusterDatastore 参数 参数类型 描述 id String 服务ID，用于区分不同服务。 name String
数据集成配置 连接属性 否 例如：1. socketTimeout：配置JDBC连接超时时间，单位为毫秒；2. mysql.bool.type.transform：配置mysql读取时，是否将tinyint(1)解析成boolean类型，默认为true 数据源认证及其他功能配置 用户名
当前支持的源端数据为DLI类型、OBS类型和MySQL类型。 当源端数据为DLI类型时，支持的目的端数据类型为CloudTable（仅华北-北京一支持）、DWS、GES、CSS、OBS、DLI。 当源端数据为MySQL类型时，支持的目的端数据类型为MySQL。 当源端数据为OBS类型时，支持的目的端数据类型为DLI、DWS。
HIVE数据源 DWS数据源 DLI数据源 cluster_name 否 String 集群名称。 database_name 否 String 数据库名称。 schema_name 否 String schema名称。 table_name 否 String 表名称。 请求参数 表3 请求Header参数
创建连接的时间。 connector-name String 连接器名称，对应的连接参数如下：generic-jdbc-connector：关系数据库连接。obs-connector：OBS连接。hdfs-connector：HDFS连接。hbase-connector：HBase连接、
data 参数 参数类型 描述 value value object 返回的数据信息。 表6 value 参数 参数类型 描述 records Array of PublishVersionVO objects 查询到的版本值对象（PublishVersionVO）数组。 total
dw_type String 数据连接类型，对应表所在的数仓类型，取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 dw_name String 数据连接名称，只读，创建和更新时无需填写。
集群名称。请于集群管理页面查看集群名称信息。当数据源类型为DLI时，该参数需要填写为DLI。 database_name String 数据库名称。获取方法请参见获取数据源中的表。 table_id String 数据表id，获取方法请参见获取数据源中的表。 table_name
timeout=360000：为避免Hive迁移作业长时间卡住，可自定义operation超时时间（单位ms）。 hive.storeFormat=textfile：关系型数据库迁移到Hive时，自动建表默认为orc格式。如果需要指定为textfile格式，可增加此配置。parquet格式同理，hive.store
消费Kafka时服务器将返回的每个分区的最大字节数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 properties.max.poll.records int 500 消费者每次poll时返回的最大消息条数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 目的端优化
"effect_objs" : null, "change_props" : "基本信息:\n队列:CCdefault@CC\n数据库:CCbi@CC\n\n\n\n表字段:\n\nid : 数据标准:CC1.1，avavvqav@CC .", "sql_ddl"
消费Kafka时服务器将返回的每个分区的最大字节数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 properties.max.poll.records int 500 消费者每次poll时返回的最大消息条数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 目的端优化
connection String 数据连接ID。 connection_type String 数据连接类型。 databases String 数据库名，当存在多个值时以逗号分隔。 sql String 自定义规则中的SQL脚本。 tables String 表名，当存在多个值时以逗号分隔。
支持NULL值。 表7 DatasourceConfig 参数 参数类型 描述 type String 数据源的类型。 枚举值： MYSQL：MYSQL数据源 DLI：DLI数据源 DWS：DWS数据源 HIVE：HIVE数据源 HBASE：HBASE数据源 connection_name
作业数据输入总数 展示用户Flink作业的数据输入总数，供监控和调试使用 ≥ records 实时处理集成作业 1分钟 作业数据输出总数 展示用户Flink作业的数据输出总数，供监控和调试使用 ≥ records 实时处理集成作业 1分钟 作业字节输入速率 展示用户Flink作业每秒输入的字节数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
