检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择CSS。 用户名 安全集群的登录用户名。 用户密码 安全集群的登录密码。 Certificate路径 上传“安全证书”的OBS路径。即步骤2的OBS桶地址。 图1 创建认证信息-CSS 访问CSS的表。 跨源认证创建成功后,在创建访问CSS的表时只需关联跨源认证即可安全访问数据源。
对接Mongo scala样例代码 pyspark样例代码 java样例代码 父主题: 使用Spark作业跨源访问数据源
对接Redis scala样例代码 pyspark样例代码 java样例代码 故障处理 父主题: 使用Spark作业跨源访问数据源
跨源认证权限管理 操作场景 通过跨源认证的用户授权,可设置分配不同的跨源认证,且不同用户的作业不影响跨源认证的使用。 使用须知 管理员用户和跨源认证的所有者拥有所有权限,不需要进行权限设置且其他用户无法修改其跨源认证权限。 给新用户设置跨源认证权限时,该用户所在用户组具有Tenant Guest权限。
此处的参数为身份验证的账号和密码,也是登录Kibana的账号和密码。 .option("es.net.ssl", "true") 如果CSS安全集群开启了HTTPS访问,此处需要设置为“true”,并且需要继续设置后面的安全证书、文件地址等参数。 如果CSS安全集群未开启HTTPS访问,此处需要
启了SASL认证和SSL认证时,创建Kafka_SSL类型的认证。建表时通过ssl_auth_name关联跨源认证。 Kerberos类型跨源认证支持连接的数据源 Kerberos类型跨源认证支持连接的数据源如表1所示。 表1 Kerberos类型跨源认证支持连接的数据源 作业类型
在DLI管理控制台上已完成创建增强跨源连接,并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 通过DataFrame API 访问 import相关依赖
下载认证凭证。 DMS Kafka 登录DMS Kafka控制台,单击实例名称进入详情页面。 在连接信息中,找到SSL证书,单击“下载”。 解压下载的kafka-certs压缩包,获取client.jks和phy_ca.crt文件。 MRS Kafka 登录MRS Manager界面。 选择“系统
Python SDK Python SDK概述 Python SDK环境配置 队列相关 资源相关 SQL作业相关 Spark作业相关
包月队列。 DDS即文档数据库服务,兼容MongoDB协议。 前提条件 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
本节操作介绍在控制台创建增强型跨源连接的操作步骤。 约束和限制 表1 增强型跨源连接约束限制 限制项 说明 适用场景约束限制 在同一队列中,如果同时使用了经典型跨源连接和增强型跨源连接,则经典型跨源连接优先于增强型跨源连接。推荐使用增强型跨源连接。 DLI提供的default队列不支持创建跨源连接。 Fl
故障处理 运行Spark作业,作业运行失败,作业日志中提示No respond错误 问题现象 运行Spark作业,作业运行失败,作业日志中提示No respond错误 解决方案 重新创建Spark作业,创建作业时需要在“Spark参数(--conf)”中添加配置:“spark.sql
BI与Kyuubi对接,通过Kyuubi访问DLI进行数据查询和分析,简化了数据访问流程,提供了数据的统一管理和分析能力,从而获得更深入的数据洞察。 本节操作介绍PowerBI基于Kyuubi连接DLI,以访问和分析DLI中的数据的操作步骤。 操作流程 图1 操作流程 步骤1:安装并配置Kyuubi连接DLI:
通过将Superset与Kyuubi对接,用户可以利用Kyuubi访问DLI进行数据查询和分析。这种集成简化了数据访问流程,提供了数据的统一管理和分析能力,使得用户能够更深入地洞察数据。 本节操作介绍Superset基于Kyuubi连接DLI,以访问和分析DLI中的数据的操作步骤。 操作流程
通过将Tableau与Kyuubi对接,用户可以利用Kyuubi访问DLI进行数据查询和分析。这种集成简化了数据访问流程,提供了数据的统一管理和分析能力,使得用户能够更深入地洞察数据。 本节操作介绍Tableau基于Kyuubi连接DLI,以访问和分析DLI中的数据的操作步骤。 操作流程
公网数据源指的是可以通过互联网访问的数据源。这些数据源资源有一个公网IP地址,配置DLI与公网网络联通可以实现对这些数据源的访问。 本节提供了详细的操作指导,介绍如何通过设置SNAT规则和配置路由信息,实现DLI服务与公网的网络连接。 操作流程 图1 配置DLI队列访问公网流程 步骤1:创建VPC
如果您想通过Spark Jar作业访问其他数据源,请参考《使用Spark作业跨源访问数据源》。 如果您想通过Spark Jar作业在DLI创建数据库和表,请参考《使用Spark作业访问DLI元数据》。 完整样例代码参考 认证用的access.key和secret.key硬编码到代码
故障处理 问题1:将代码直接复制到py文件中后,'\'后出现“unexpected character”问题。 问题 将代码直接复制到py文件中后,'\'后出现“unexpected character”问题。 解决方案 将'\'后面的缩进或是空格全部删除。 父主题: 对接Redis
通过将Fine BI与Kyuubi对接,用户可以利用Kyuubi访问DLI进行数据查询和分析。这种集成简化了数据访问流程,提供了数据的统一管理和分析能力,使得用户能够更深入地洞察数据。 本节操作介绍Fine BI基于Kyuubi连接DLI,以访问和分析DLI中的数据的操作步骤。 操作流程
型跨源连接,则经典型跨源连接优先于增强型跨源连接。推荐使用增强型跨源连接。 DLI提供的default队列不支持创建跨源连接。 Flink作业访问DIS,OBS和SMN数据源,无需创建跨源连接,可以直接访问。 增强型跨源仅支持包年包月队列、按需计费模式下的专属队列。 权限要求 增