数据治理中心 DATAARTS STUDIO-DMS Kafka数据连接参数说明
DMS Kafka数据连接参数说明
参数 |
是否必选 |
说明 |
---|---|---|
数据连接类型 |
是 |
DMS Kafka连接固定选择为DMS Kafka。 |
数据连接名称 |
是 |
数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 |
标签 |
否 |
标识数据连接的属性。设置标签后,便于统一管理。
说明:
标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 |
适用组件 |
是 |
选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。
说明:
|
基础与网络连通配置 |
||
Kafka Broker |
是 |
Kafka Broker 格式为 host:port。例如:127.0.0.1:9092,127.0.0.1:9093 |
Kafka SASL_SSL |
是 |
开启Kafka SASL_SSL,数据将加密传输,安全性更高,但性能会下降。请根据创建的kafka集群认证填入相应配置:security.protocol=SASL_SSL/SASL_PLAINTEXT,sasl.mechanism=PLAIN/SC RAM -SHA-512 |
KMS密钥 |
是 |
通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。 KMS是一种安全、可靠、简单易用的密钥托管服务,对密钥的所有操作都会进行访问控制及日志跟踪,提供所有密钥的使用记录,满足审计和合规性要求。 |
绑定Agent |
是 |
DataArts无法直接与非全托管服务进行连接,需要提供 DataArts Studio 与非全托管服务通信的代理。 CDM 集群可以提供通信代理服务,请选择一个CDM集群,如果没有可用的CDM集群,请先通过数据集成增量包进行创建。 当多个数据连接共用同一Agent时,通过这些数据连接提交SQL作业、Shell脚本、Python脚本等任务的同时运行上限为200。 |
数据集成配置 |
||
连接属性 |
否 |
例如:1. socketTimeout:配置JDBC连接超时时间,单位为毫秒;2. mysql.bool.type.transform:配置mysql读取时,是否将tinyint(1)解析成boolean类型,默认为true |
数据源认证及其他功能配置 |
||
用户名 |
是 |
开启Kafka SASL_SSL时的必选项。 连接DMS Kafka的用户名。 |
密码 |
是 |
开启Kafka SASL_SSL时的必选项。 连接DMS Kafka的密码。 |
- 数据治理中心_数据开发_数据开发能力_脚本和节点介绍-华为云
- 数据治理中心_数据开发_最佳实践_-华为云
- 数据治理中心_数据质量评估_质量规则和质量报告-华为云
- kafka是什么_kafka介绍_分布式消息服务Kafka版
- 数据治理中心_数据架构_数据架构使用示例-华为云
- 数据治理中心_数据开发_免费版及试用活动-华为云
- 分布式消息中间件实战_分布式消息实战_分布式消息-华为云
- 分布式消息服务Kafka版与分布式消息服务RocketMQ版的区别_Kafka与RocketMQ对比_Kafka与RocketMQ差异
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云
- 大数据分析是什么_使用MapReduce_创建MRS服务