检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive常见SQL语法说明 Hive SQL扩展语法说明 自定义Hive表行分隔符 Hive支持的传统关系型数据库语法说明 父主题: 使用Hive
Spark SQL样例程序 Spark SQL样例程序开发思路 Spark SQL样例程序(Java) Spark SQL样例程序(Scala) Spark SQL样例程序(Python) 父主题: 开发Spark应用
Spark SQL样例程序 Spark SQL样例程序开发思路 Spark SQL样例程序(Java) Spark SQL样例程序(Scala) Spark SQL样例程序(Python) 父主题: 开发Spark应用
Hive常见SQL语法说明 Hive SQL扩展语法说明 自定义Hive表行分隔符 Hive支持的传统关系型数据库语法说明 父主题: 使用Hive
Iceberg常用SQL语法 创建表 删除表 修改表 插入表数据 父主题: 使用Iceberg
FlinkSQL Lookup算子复用 本章节适用于MRS 3.5.0及以后版本。 使用场景 将Lookup Join的结果写入到多个sink端时,无需为每个sink复制一个Lookup join算子,提高作业的执行效率。 使用方法 配置Flink作业时,可通过在FlinkServer
Ranger仅支持对接RDS服务MySQL数据库,版本号为:MySQL 5.7.x、MySQL 8.0。 Hive支持对接RDS服务MySQL和PostgreSQL数据库,版本号为:MySQL 5.7.x、MySQL 8.0和PostgreSQL14。 在RDS管理控制台,选择“实
'url' = 'jdbc:mysql://MySQL的服务器IP:MySQL的服务器端口/mysql', 'table-name' = 'customer_t1', 'username' = 'username', --连接MySQL数据库的用户名 'password'
HetuEngine常见SQL语法说明 HetuEngine数据类型说明 HetuEngine DDL SQL语法说明 HetuEngine DML SQL语法说明 HetuEngine TCL SQL语法说明 HetuEngine DQL SQL语法说明 HetuEngine SQL函数和操作符说明
Spark SQL样例程序 Spark SQL样例程序开发思路 Spark SQL样例程序(Java) Spark SQL样例程序(Scala) Spark SQL样例程序(Python) 父主题: 开发Spark应用
100000000 ) AS b ON a.id = b.id; 耗时:0.996 sec。 ClickHouse不支持limit下推,SQL生成时需要优化,以免SQL性能受影响。 【错误示例】 select did from (select did from tableA) limit 10;
SQL和DataFrame调优 Spark SQL join优化 INSERT...SELECT操作调优 父主题: Spark应用调优
ELECT权限;而在spark-sql模式下,查询视图需要视图的SELECT权限和表的SELECT权限。 删除、修改视图时,必须要有视图的owner权限。 SparkSQL权限模型 用户使用SparkSQL服务进行SQL操作,必须对SparkSQL数据库和表(含外表和视图)拥有相
配置Spark动态脱敏 本章节仅适用于MRS 3.3.1-LTS及之后版本。 管理面提交作业方式不支持开启动态脱敏特性。 配置场景 Spark动态脱敏开启后,配置脱敏列的数据可以参与计算,计算结果输出时不可见,在集群内脱敏策略会根据血缘关系自动传递,更大的发挥数据的价值同时,保障数据的隐私性。
SQL:直接运行手动输入的SQL语句。 Script:以加载HDFS或者OBS中的SQL脚本文件运行SQL。 SQL SQL语句 “SQL类型”参数为“SQL”时参数有效,请输入待运行的SQL语句,然后单击“检查”来检查SQL语句的正确性,确保输入语句正确。 如果同时需要提交多条语句并执行,可使用“;”分隔不同语句。
from pyspark.sql import SparkSession from pyspark.sql import SQLContext def contains(str1, substr1): if substr1 in str1: return
Flink常见SQL语法说明 SELECT与WHERE语句 根据where子句对数据进行过滤。 语法: SELECT select_list FROM table_expression [ WHERE boolean_expression ] 示例: SELECT price +
SQL:直接运行手动输入的SQL语句。 Script:以加载HDFS或者OBS中的SQL脚本文件运行SQL。 SQL SQL语句 “SQL类型”参数为“SQL”时参数有效,请输入待运行的SQL语句,然后单击“检查”来检查SQL语句的正确性,确保输入语句正确。 如果同时需要提交多条语句并执行,使用“;”分隔不同语句。
from pyspark.sql import SparkSession from pyspark.sql import SQLContext def contains(str1, substr1): if substr1 in str1: return
} 上面是简单示例,其它SparkSQL特性请参见如下链接:http://archive.apache.org/dist/spark/docs/3.3.1/sql-programming-guide.html#running-sql-queries-programmatically。