检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Key密码 keystore中的私钥密码。 图1 创建认证信息-Kafka_SSL 访问开启SASL_SSL认证的Kafka。 跨源认证创建成功后,在创建访问数据源时只需关联跨源认证即可安全访问数据源。 建表时关联跨源认证的字段请参考表3。 表3 建表时与Kafka_SSL类型跨源认证关联的字段
融合处理分析服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
table_name 需要删除的Table名称。 所需权限 SQL权限 表2 DROP TABLE所需权限列表 权限描述 表所在数据库的DROP_TABLE权限 细粒度权限:dli:table:dropTable。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。
DLI如何访问OBS桶中的数据 创建OBS表。 具体语法请参考《数据湖探索SQL语法参考》。 添加分区。 具体语法请参考《数据湖探索SQL语法参考》。 往分区导入OBS桶中的数据。 具体语法请参考《数据湖探索SQL语法参考》。 查询数据。 具体语法请参考《数据湖探索SQL语法参考》。
62:8635/test?authSource=admin" url需要在mongo(DDS)的连接地址的截取得到。 获取到的mongo的连接地址格式为:"协议头://用户名:密码@访问地址:访问端口/数据库名?authSource=admin" 例如: mongodb://rwuser:****@192
DLI将Flink作业的输出数据输出到云搜索服务CSS的Elasticsearch 引擎的索引中。 Elasticsearch是基于Lucene的当前流行的企业级搜索服务器,具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚合、高亮显示等。能为用户提供实时搜索、稳定可靠的服务。适用于日志分析、站内搜索等场景。
builder().appName("datasource-rds").getOrCreate(); 通过SQL API 访问 创建DLI跨源访问RDS的关联表,填写连接参数。 1 2 3 4 5 6 7 sparkSession.sql( "CREATE TABLE IF NOT
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
java样例代码 操作场景 本例提供使用Spark作业访问DWS数据源的java样例代码。 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
请务必确保您的账户下已在云搜索服务里创建了集群。如何创建集群请参考《云搜索服务用户指南》中创建集群章节。 该场景作业需要运行在DLI的独享队列上,因此要与云搜索服务建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
connection_id 否 String 连接ID,用于标识跨源连接的UUID。 destination 否 String 创建连接时,用户填写的队列的访问地址。 state 否 String 连接状态,具体状态请参见表4。 process 否 Double 正在创建的跨源连接进度,显示0.0至1.0代表0%至100%。
下载数据源的认证凭证。 登录MRS Manager界面。 选择“系统 > 权限 > 用户”。 单击“更多 > 下载认证凭据”,保存后解压得到用户的keytab文件与krb5.conf文件。 上传认证凭证到OBS桶。 关于如何创建OBS桶并上传数据,请参考《对象存储服务快速入门》。 创建跨源认证。
标准的SQL接口来访问和分析数据。 将Power BI与Kyuubi对接,通过Kyuubi访问DLI进行数据查询和分析,简化了数据访问流程,提供了数据的统一管理和分析能力,从而获得更深入的数据洞察。 本节操作介绍PowerBI基于Kyuubi连接DLI,以访问和分析DLI中的数据的操作步骤。
在创建的新数据源配置界面中,输入Kyuubi服务器的相关信息。 数据库名称:本例输入DLI数据库名称。 服务器地址:输入Kyuubi服务器的弹性公网IP地址。 端口号:Kyuubi服务监听的端口,使用Hive Thirft协议,默认端口10009。 用户名和密码:按需配置Kyuubi服务器用户名和密码。 按需配置其他高级选项,然后保存配置。
存储在OBS桶中,作业一直提交失败,并伴有报错提交日志,提示OBS桶名不合法。 原因分析 确认OBS桶名是否正确。 确认所用AKSK是否有权限。 设置依赖关系provided防止Jar包冲突。 确认客户esdk-obs-java-3.1.3.jar的版本。 确认是集群存在问题。 处理步骤
SparkSession.builder().appName("datasource-css").getOrCreate(); 通过SQL API访问 创建DLI跨源访问 CSS关联表。 sparkSession.sql("create table css_table(id long, name string)
请务必确保您的账户下已在云搜索服务里创建了集群。如何创建集群请参考《云搜索服务用户指南》中创建集群章节。 该场景作业需要运行在DLI的独享队列上,因此要与云搜索服务建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
使用Spark作业跨源访问数据源 概述 对接CSS 对接DWS 对接HBase 对接OpenTSDB 对接RDS 对接Redis 对接Mongo 父主题: Spark Jar作业开发指南
3.1及以上版本、Flink 1.15及以上版本的跨源访问场景推荐使用数据加密服务DEW来存储数据源的认证信息,为您解决数据安全、密钥安全、密钥管理复杂等问题。具体操作请参考使用DEW管理数据源访问凭证。 跨源认证用于管理访问指定数据源的认证信息。配置跨源认证后,无需在作业中重复
步骤1:安装并配置Kyuubi连接DLI:安装并配置Kyuubi,确保Kyuubi可以连接到DLI。 步骤2:安装SuperSet并配置数据连接驱动:配置Superset安装数据连接驱动。 步骤3:配置SuperSet连接kyuubi:在BI工具中创建一个新的数据连接,通过JDBC连接Kyuubi。