数据治理中心 DATAARTS STUDIO-OpenSource ClickHouse数据连接参数说明

时间:2024-09-13 17:14:08

OpenSource ClickHouse数据连接参数说明

表1 OpenSource ClickHouse数据连接

参数

是否必选

说明

数据连接类型

OpenSource ClickHouse连接固定选择为 MapReduce服务 (OpenSource ClickHouse)。

数据连接名称

数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。

标签

标识数据连接的属性。设置标签后,便于统一管理。
说明:

标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。

适用组件

选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。

说明:
  • 当开启数据集成作业特性后,可勾选数据集成组件,勾选后在数据开发组件创建集成作业时支持选择本数据连接。
  • 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员

基础与网络连通配置

IP

填写ClickHouseServer所在节点IP。

端口

默认使用ClickHouseServer的配置参数http_port,用于接收JDBC请求的端口。

KMS密钥

通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。

绑定Agent

选择 CDM 集群作为网络代理,必须和ClickHouseServer网络互通才可以成功创建连接。

说明:

CDM集群作为管理中心数据连接Agent时,单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时,通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。

数据集成配置

数据库名称

配置为要连接的数据库名称。

例如:dbname

驱动版本

选择ClickHouse驱动版本。

  • CLICKHOUSE_0_3_1:适用于连接ClickHouse 20.7以下版本,此驱动版本不支持多IP连接数据库服务器。
  • CLICKHOUSE_0_4_2:适用于连接ClickHouse 20.7及以上版本,支持多IP连接数据库服务器。
    说明:
    • 选择CLICKHOUSE_0_4_2驱动版本时,支持的timestamp数据的时间范围最小为1970-01-01 08:00:00。
    • CLICKHOUSE_0_4_2的驱动版本仅支持ClickHouse 20.7及以上的服务器版本。
    • 选择CLICKHOUSE_0_4_2驱动版本时,字段名不能包含(),其他版本不受限制。

引用符号

连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。默认为"。

单次提交行数

指定单次批量提交的行数。默认为10000。

连接属性

连接属性,包含属性名称和属性值。

例如:

1. socket_timeout: socket连接超时的时间,单位为毫秒。

2. connection_timeout:连接超时,单位为毫秒。

3. dataTransferTimeout:数据传输超时,单位为毫秒。

数据源认证及其他功能配置

用户名

ClickHouseServer用户名。

密码

ClickHouseServer的访问密码。

support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1321.html