-
DLI增强型跨源连接为什么要创建对等连接 - 数据湖探索 DLI
DLI增强型跨源连接为什么要创建对等连接 创建DLI增强型跨源连接时,创建对等连接的目的是打通网络。以MRS为例,如果DLI和MRS集群在同一个VPC中,安全组且放通的情况下,可以不用配置对等连接 父主题: 跨源连接问题
-
作业开发 - 数据湖探索 DLI
Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中,缺少pymysql模块,如何使用python脚本访问MySQL数据库? 如何在DLI中运行复杂PySpark程序? Spark作业访问MySQL数据库的方案 如何通过JDBC设置spark.sql.shuffle.partitions参数提高并行度
-
查询DWS表 - 数据湖探索 DLI
示例 查询表dli_to_dws中的数据。 1 SELECT * FROM dli_to_dws limit 100; 父主题: 跨源连接DWS表
-
查询Oracle表 - 数据湖探索 DLI
示例 查询表test_oracle中的数据。 1 SELECT * FROM test_oracle limit 100; 父主题: 跨源连接Oracle表
-
查询OpenTSDB表 - 数据湖探索 DLI
若OpenTSDB上不存在metric,查询对应的DLI表会报错。 若OpenTSDB开了安全模式,则访问时,需要设置conf:dli.sql.mrs.opentsdb.ssl.enabled=true 语法格式 1 SELECT * FROM table_name LIMIT number;
-
查询RDS表 - 数据湖探索 DLI
所查询的表必须是已经存在的表,否则会出错。 示例 查询表test_ct中的数据。 1 SELECT * FROM dli_to_rds limit 100; 父主题: 跨源连接RDS表
-
查询DDS表 - 数据湖探索 DLI
示例 查询表test_table1中的数据。 1 SELECT * FROM test_table1 limit 100; 父主题: 跨源连接DDS表
-
查询CSS表 - 数据湖探索 DLI
示例 查询表dli_to_css中的数据。 1 SELECT * FROM dli_to_css limit 100; 父主题: 跨源连接CSS表
-
查询HBase表 - 数据湖探索 DLI
Client将过滤条件传给HBase服务端进行处理,HBase服务端只返回用户需要的数据,提高了Spark SQL查询的速度。对于HBase不支持的过滤条件,例如组合Rowkey的查询,直接由Spark SQL进行。 支持查询下压的场景 数据类型场景 Int boolean short long double
-
创建DLI表关联HBase - 数据湖探索 DLI
BASE"二选一,大小写不敏感。 ZKHost HBase集群的ZK连接地址。 获取ZK连接地址需要先创建跨源连接,管理控制台操作请参考经典型跨源连接和增强型跨源连接。 访问CloudTable集群,填写ZK连接地址(内网)。 访问MRS集群,填写ZK所在节点IP与ZK对外端口,
-
创建DLI表关联CSS - 数据湖探索 DLI
TABLE关键字说明 参数 描述 es.nodes CSS的连接地址,需要先创建跨源连接,管理控制台操作请参考经典型跨源连接和增强型跨源连接。 创建经典型跨源连接后,使用经典型跨源连接中返回的连接地址。 创建增强型跨源连接后,使用CSS提供的"内网访问地址",格式为"IP1:PORT1
-
创建DLI表关联OpenTSDB - 数据湖探索 DLI
host OpenTSDB连接地址。 获取OpenTSDB连接地址需要先创建跨源连接,管理控制台操作请参考经典型跨源连接和增强型跨源连接。 访问CloudTable OpenTSDB,填写OpenTSDB链接地址。 访问MRS OpenTSDB,若使用增强型跨源连接,填写OpenTSD
-
创建DLI表关联DDS - 数据湖探索 DLI
options”。 关键字 表1 CREATE TABLE关键字说明 参数 描述 url DDS的连接信息,需要先创建跨源连接,管理控制台操作请参考增强型跨源连接。 创建增强型跨源连接后,使用DDS提供的"随机连接地址",格式为: "IP:PORT[,IP:PORT]/[DATABASE][.C
-
按需队列怎样绑定跨源链接? - 数据湖探索 DLI
列。 因此只有在购买按需队列时勾选了“专属资源模式”,资源专属,按需使用(计费周期等于队列的生命周期),才能绑定跨源链接。 父主题: 跨源连接问题
-
插入数据至HBase表 - 数据湖探索 DLI
values_row ...]; 关键字 SELECT对应关键字说明请参考基本语句。 参数说明 表1 参数描述 参数 描述 DLI_TABLE 已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...,field 表“DLI_TEST”中的列值,
-
插入数据至CSS表 - 数据湖探索 DLI
values_row ...]; 关键字 SELECT对应关键字说明请参考基本语句。 参数说明 表1 参数描述 参数 描述 DLI_TABLE 已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...,field 表“DLI_TEST”中的列值,
-
DWS输出流(通过OBS转储方式) - 数据湖探索 DLI
章节。 该场景作业需要运行在DLI的独享队列上,因此要与DWS集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式
-
插入数据至RDS表 - 数据湖探索 DLI
values_row ...]; 关键字 SELECT对应关键字说明请参考基本语句。 参数说明 表1 参数描述 参数 描述 DLI_TABLE 已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...,field 表“DLI_TEST”中的列值,
-
插入数据至DDS表 - 数据湖探索 DLI
field] ...; 关键字 SELECT对应关键字说明请参考基本语句。 参数说明 表1 参数描述 参数 描述 DLI_TABLE 已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...,field 表“DLI_TEST”中的列值,
-
插入数据至OpenTSDB表 - 数据湖探索 DLI
opentsdb_table VALUES('xxx','xxx','2018-05-03 00:00:00',21); 父主题: 跨源连接OpenTSDB表