管理数据源-华为云

数据仓库服务 GAUSSDB(DWS)-管理OBS数据源:使用OBS数据源

使用OBS数据源 GaussDB (DWS)使用外表方式访问OBS上的数据。委托方式与非委托方式，在外表上体现出来的差异仅在于指定了不同的SERVER。对于非委托方式，控制台提供的SERVER包含access_key和secret_access_key参数，分别对应OBS访问协议的AK和SK值。对于委托方式，控制台提供的SERVER包含access_key、secret_access_key和security_token参数，分别对应OBS访问协议的临时AK、临时SK和统一身份认证服务 IAM 中临时安全凭证的SecurityToken值。在创建好OBS委托和OBS数据源之后，用户从控制台获得相应的包含委托信息的SERVER，假设OBS数据源名称为obs_server。用户创建和使用外表与非委托方式无差异。关于如何使用OBS数据源，具体请参见从OBS导入数据。如下示例为某普通用户jim通过外表读取OBS上的数据。参见以上步骤创建OBS数据源，名称为obs_server。使用系统管理员dbadmin连接数据库，创建普通用户，并授权该普通用户使用OBS server和OBS外表权限。其中{Password}替换为用户实际密码，obs_server替换成实际的OBS数据源名称。 1 2 3 CREATE USER jim PASSWORD '{Password}'; ALTER USER jim USEFT; GRANT USAGE ON FOREIGN SERVER obs_server TO jim; 使用普通用户jim连接数据库，建立OBS外表customer_address，不包含分区列。以下命令中，obs_server替换为上面实际创建的OBS数据源名称。目录/user/obs/region_orc11_64stripe1/替换为实际数据文件存放的OBS目录，user表示用户的OBS桶名称。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 CREATE FOREIGN TABLE customer_address ( ca_address_sk integer not null, ca_address_id char(16) not null, ca_street_number char(10) , ca_street_name varchar(60) , ca_street_type char(15) , ca_suite_number char(10) , ca_city varchar(60) , ca_county varchar(30) , ca_state char(2) , ca_zip char(10) , ca_country varchar(20) , ca_gmt_offset decimal(36,33) , ca_location_type char(20) ) SERVER obs_server OPTIONS ( FOLDERNAME '/user/obs/region_orc11_64stripe1/', FORMAT 'ORC', ENCODING 'utf8', TOTALROWS '20' ) DISTRIBUTE BY roundrobin; 通过外表查询OBS上的数据。 1 2 3 4 5 SELECT COUNT(*) FROM customer_address; count ------- 20 (1row)

数据仓库服务 GAUSSDB(DWS) 管理数据源

数据仓库服务 GAUSSDB(DWS)-管理OBS数据源:创建OBS委托

创建OBS委托操作场景创建OBS数据源前需要用户提前创建好授权给GaussDB(DWS)具有OBS OperateAccess或OBS Administrator权限的委托。操作步骤鼠标移动至页面右上角账号，单击“统一身份认证”，进入统一身份认证服务页面。在左侧导航栏单击“委托”，在委托页面右上角单击“创建委托”。创建委托时委托类型选择“云服务”，云服务选择“DWS”。单击“下一步”，对委托授予OBS服务的“OBS OperateAccess”或“OBS Administrator”权限。单击“下一步”，选择授权资源范围为“所有资源”或需要访问的资源，然后确认无误后提交。

数据仓库服务 GAUSSDB(DWS) 管理数据源

数据湖探索 DLI-跨源认证概述:跨源认证类型

跨源认证类型 DLI 支持四种类型的跨源认证，不同的数据源按需选择相应的认证类型。 CSS 类型跨源认证：适用于“6.5.4”及以上版本的 CS S集群且集群已开启安全模式。配置时需指定集群的用户名、密码、认证证书，通过跨源认证将以上信息存储到DLI服务中，便于DLI安全访问CSS数据源。详细操作请参考创建CSS类型跨源认证。 Kerberos类型的跨源认证：适用于开启Kerberos认证的 MRS 安全集群。配置时需指定MRS集群认证凭证，包括“krb5.conf”和“user.keytab”文件。详细操作请参考创建Kerberos跨源认证。 Kafka_SSL类型的跨源认证：适用于开启SSL的Kafka，配置时需指定KafkaTruststore路径和密码。详细操作请参考创建Kafka_SSL类型跨源认证。 Password类型的跨源认证：适用于DWS、RDS、DDS、DCS数据源，配置时将数据源的密码信息存储到DLI。详细操作请参考创建Password类型跨源认证。

数据湖探索 DLI 使用DLI的跨源认证管理数据源访问凭证

数据湖探索 DLI-跨源认证概述:约束与限制

约束与限制仅Spark SQL、和Flink OpenSource SQL 1.12版本的作业支持使用跨源认证。仅在2023年5月1日后创建的队列，支持Flink作业使用跨源认证。 DLI支持四种类型的跨源认证，不同的数据源按需选择相应的认证类型。 CSS类型跨源认证：适用于“6.5.4”及以上版本的CSS集群且集群已开启安全模式。 Kerberos类型的跨源认证：适用于开启Kerberos认证的MRS安全集群。 Kafka_SSL类型的跨源认证：适用于开启SSL的Kafka。 Password类型的跨源认证：适用于DWS、RDS、DDS、DCS数据源。

数据湖探索 DLI 使用DLI的跨源认证管理数据源访问凭证

数据湖探索 DLI-跨源认证概述:支持跨源认证的数据源与作业类型

支持跨源认证的数据源与作业类型不同类型的作业支持跨源认证的数据源与认证方式不同。 Spark SQL支持跨源认证的数据源与约束限制请参考表1。 Flink OpenSource SQL 1.12支持跨源认证的数据源与约束限制请参考表2。表1 Spark SQL支持跨源认证的数据源跨源认证类型数据源约束与限制 CSS CSS CSS集群版本选择“6.5.4”或“6.5.4”以上版本。 CSS集群已开启“安全模式”。 Password DWS、RDS、DDS、Redis - 表2 Flink OpenSource SQL 1.12支持跨源认证的数据源表类型跨源认证类型数据源约束与限制源表 Kerberos HBase MRS安全集群已开启Kerberos认证。 Kafka MRS Kafka开启Kerberos认证。 Kafka_SSL Kafka DMS Kafka开启SASL_SSL认证。 MRS Kafka开启SASL认证。 MRS Kafka开启SSL认证。 Password DWS、RDS、Redis - 结果表 Kerberos HBase MRS安全集群已开启Kerberos认证。 Kafka MRS Kafka开启Kerberos认证。 Kafka_SSL Kafka DMS Kafka开启SASL_SSL认证。 MRS Kafka开启SASL认证。 MRS Kafka开启SSL认证。 Password DWS、RDS、CSS、Redis - 维表 Kerberos HBase MRS安全集群已开启Kerberos认证。 Password DWS、RDS、Redis -

数据湖探索 DLI 使用DLI的跨源认证管理数据源访问凭证

数据湖探索 DLI-跨源认证概述:什么是跨源认证？

什么是跨源认证？跨源分析场景中，如果在作业中直接配置认证信息会触发密码泄露的风险，因此推荐您使用“ 数据加密服务DEW”或“DLI提供的跨源认证方式”来存储数据源的认证信息。数据加密服务（Data Encryption Workshop, DEW）是一个综合的云上数据加密服务，为您解决数据安全、密钥安全、密钥管理复杂等问题。推荐使用数据加密服务DEW来存储数据源的认证信息。 Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景推荐使用数据加密服务DEW来存储数据源的认证信息，为您解决数据安全、密钥安全、密钥管理复杂等问题。具体操作请参考使用DEW管理数据源访问凭证。跨源认证用于管理访问指定数据源的认证信息。配置跨源认证后，无需在作业中重复配置数据源认证信息，提高数据源认证的安全性，便于DLI安全访问数据源。 SQL作业、Flink 1.12版本的跨源访问场景，使用DLI提供的“跨源认证”管理数据源的访问凭证。本节操作为您介绍DLI提供的跨源认证的使用方法。

数据湖探索 DLI 使用DLI的跨源认证管理数据源访问凭证

数据湖探索 DLI-创建Kafka_SSL类型跨源认证:操作场景

操作场景通过在DLI控制台创建的Kafka_SSL类型的跨源认证，将Kafka的认证信息存储到DLI，无需在SQL作业中配置账号密码，安全访问Kafka实例。 MRS Kafka开启Kerberos认证，未开启SSL认证时，创建Kerberos类型的认证。建表时通过krb_auth_name关联跨源认证。 MRS Kafka开启Kerberos认证，同时开启了SSL认证时，需要同时创建Kerberos和Kafka_SSL类型的认证。建表时分别通过krb_auth_name和ssl_auth_name关联跨源认证。 MRS Kafka未开启Kerberos认证，仅开启了SASL认证时（例如使用账号密码认证PlainLoginModule场景），无需使用跨源认证。 MRS Kafka未开启Kerberos认证，仅开启了SSL认证时，创建Kafka_SSL类型的认证。建表时通过ssl_auth_name关联跨源认证。 MRS Kafka未开启Kerberos认证，开启了SASL认证和SSL认证时，创建Kafka_SSL类型的认证。建表时通过ssl_auth_name关联跨源认证。

数据湖探索 DLI 使用DLI的跨源认证管理数据源访问凭证

云服务器内容精选

管理数据源

7*24

备案

专业服务

退订

建议反馈

售前咨询热线