使用DLI的跨源认证管理数据源访问凭证-华为云

数据湖探索 DLI-跨源认证概述:什么是跨源认证？

什么是跨源认证？跨源分析场景中，如果在作业中直接配置认证信息会触发密码泄露的风险，因此推荐您使用“ 数据加密服务DEW”或“ DLI 提供的跨源认证方式”来存储数据源的认证信息。数据加密服务（Data Encryption Workshop, DEW）是一个综合的云上数据加密服务，为您解决数据安全、密钥安全、密钥管理复杂等问题。推荐使用数据加密服务DEW来存储数据源的认证信息。 Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景推荐使用数据加密服务DEW来存储数据源的认证信息，为您解决数据安全、密钥安全、密钥管理复杂等问题。具体操作请参考使用DEW管理数据源访问凭证。跨源认证用于管理访问指定数据源的认证信息。配置跨源认证后，无需在作业中重复配置数据源认证信息，提高数据源认证的安全性，便于DLI安全访问数据源。 SQL作业、Flink 1.12版本的跨源访问场景，使用DLI提供的“跨源认证”管理数据源的访问凭证。本节操作为您介绍DLI提供的跨源认证的使用方法。

数据湖探索 DLI 使用DLI的跨源认证管理数据源访问凭证

数据湖探索 DLI-跨源认证概述:跨源认证类型

跨源认证类型 DLI支持四种类型的跨源认证，不同的数据源按需选择相应的认证类型。 CSS 类型跨源认证：适用于“6.5.4”及以上版本的 CS S集群且集群已开启安全模式。配置时需指定集群的用户名、密码、认证证书，通过跨源认证将以上信息存储到DLI服务中，便于DLI安全访问CSS数据源。详细操作请参考创建CSS类型跨源认证。 Kerberos类型的跨源认证：适用于开启Kerberos认证的 MRS 安全集群。配置时需指定MRS集群认证凭证，包括“krb5.conf”和“user.keytab”文件。详细操作请参考创建Kerberos跨源认证。 Kafka_SSL类型的跨源认证：适用于开启SSL的Kafka，配置时需指定KafkaTruststore路径和密码。详细操作请参考创建Kafka_SSL类型跨源认证。 Password类型的跨源认证：适用于DWS、RDS、DDS、DCS数据源，配置时将数据源的密码信息存储到DLI。详细操作请参考创建Password类型跨源认证。

数据湖探索 DLI 使用DLI的跨源认证管理数据源访问凭证

数据湖探索 DLI-跨源认证概述:约束与限制

约束与限制仅Spark SQL、和Flink OpenSource SQL 1.12版本的作业支持使用跨源认证。仅在2023年5月1日后创建的队列，支持Flink作业使用跨源认证。 DLI支持四种类型的跨源认证，不同的数据源按需选择相应的认证类型。 CSS类型跨源认证：适用于“6.5.4”及以上版本的CSS集群且集群已开启安全模式。 Kerberos类型的跨源认证：适用于开启Kerberos认证的MRS安全集群。 Kafka_SSL类型的跨源认证：适用于开启SSL的Kafka。 Password类型的跨源认证：适用于DWS、RDS、DDS、DCS数据源。

数据湖探索 DLI 使用DLI的跨源认证管理数据源访问凭证

数据湖探索 DLI-跨源认证概述:支持跨源认证的数据源与作业类型

支持跨源认证的数据源与作业类型不同类型的作业支持跨源认证的数据源与认证方式不同。 Spark SQL支持跨源认证的数据源与约束限制请参考表1。 Flink OpenSource SQL 1.12支持跨源认证的数据源与约束限制请参考表2。表1 Spark SQL支持跨源认证的数据源跨源认证类型数据源约束与限制 CSS CSS CSS集群版本选择“6.5.4”或“6.5.4”以上版本。 CSS集群已开启“安全模式”。 Password DWS、RDS、DDS、Redis - 表2 Flink OpenSource SQL 1.12支持跨源认证的数据源表类型跨源认证类型数据源约束与限制源表 Kerberos HBase MRS安全集群已开启Kerberos认证。 Kafka MRS Kafka开启Kerberos认证。 Kafka_SSL Kafka DMS Kafka开启SASL_SSL认证。 MRS Kafka开启SASL认证。 MRS Kafka开启SSL认证。 Password DWS、RDS、Redis - 结果表 Kerberos HBase MRS安全集群已开启Kerberos认证。 Kafka MRS Kafka开启Kerberos认证。 Kafka_SSL Kafka DMS Kafka开启SASL_SSL认证。 MRS Kafka开启SASL认证。 MRS Kafka开启SSL认证。 Password DWS、RDS、CSS、Redis - 维表 Kerberos HBase MRS安全集群已开启Kerberos认证。 Password DWS、RDS、Redis -

数据湖探索 DLI 使用DLI的跨源认证管理数据源访问凭证

数据湖探索 DLI-创建Kafka_SSL类型跨源认证:操作场景

操作场景通过在DLI控制台创建的Kafka_SSL类型的跨源认证，将Kafka的认证信息存储到DLI，无需在SQL作业中配置账号密码，安全访问Kafka实例。 MRS Kafka开启Kerberos认证，未开启SSL认证时，创建Kerberos类型的认证。建表时通过krb_auth_name关联跨源认证。 MRS Kafka开启Kerberos认证，同时开启了SSL认证时，需要同时创建Kerberos和Kafka_SSL类型的认证。建表时分别通过krb_auth_name和ssl_auth_name关联跨源认证。 MRS Kafka未开启Kerberos认证，仅开启了SASL认证时（例如使用账号密码认证PlainLoginModule场景），无需使用跨源认证。 MRS Kafka未开启Kerberos认证，仅开启了SSL认证时，创建Kafka_SSL类型的认证。建表时通过ssl_auth_name关联跨源认证。 MRS Kafka未开启Kerberos认证，开启了SASL认证和SSL认证时，创建Kafka_SSL类型的认证。建表时通过ssl_auth_name关联跨源认证。

数据湖探索 DLI 使用DLI的跨源认证管理数据源访问凭证

云服务器内容精选

使用DLI的跨源认证管理数据源访问凭证

7*24

备案

专业服务

退订

建议反馈

售前咨询热线