数据治理中心 DATAARTS STUDIO-Elasticsearch数据连接参数说明

时间:2024-12-04 08:59:47

Elasticsearch数据连接参数说明

表1 Elasticsearch连接

参数

是否必选

说明

数据连接类型

Elasticsearch连接固定选择为Elasticsearch。

数据连接名称

数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。

标签

标识数据连接的属性。设置标签后,便于统一管理。
说明:

标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。

适用组件

选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。

说明:
  • 当开启数据集成作业特性后,可勾选数据集成组件,勾选后在数据开发组件创建集成作业时支持选择本数据连接。
  • 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员

基础与网络连通配置

Elasticsearch服务器列表

一个或多个通过分号分割的服务器列表(服务器 域名 或IP地址:服务器端口)。

例如:192.168.0.1:9200;192.168.0.2:9200。

KMS密钥

和通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。

KMS是一种安全、可靠、简单易用的密钥托管服务,对密钥的所有操作都会进行访问控制及日志跟踪,提供所有密钥的使用记录,满足审计和合规性要求。

绑定Agent

DataArts无法直接与非全托管服务进行连接,需要提供 DataArts Studio 与非全托管服务通信的代理。 CDM 集群可以提供通信代理服务,请选择一个CDM集群,如果没有可用的CDM集群,请先通过数据集成增量包进行创建。

当多个数据连接共用同一Agent时,通过这些数据连接提交SQL作业、Shell脚本、Python脚本等任务的同时运行上限为200。

数据集成配置

安全模式认证

是否安全模式认证。

https访问

开启https访问。

Https协议提升了集群安全性,同时集群性能会下降。

连接超时时间

连接超时时间,单位ms。默认10000。

超时时间

超时时间,单位ms。默认60000。

开启GZIP压缩

开启gzip 压缩,使用的时候需要在es 节点上将配置http.compression设置为true。

数据源认证及其他功能配置

用户名

连接Elasticsearch的用户名。

密码

连接Elasticsearch的密码。

support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1320.html