检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark SQL样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间
FlinkSQL HBase数据表开发规则 提前在HBase中创建表 Flink作业在HBase中找不到对应表会报错，所以需要提前在HBase中创建好对应的表。 HBase与Flink不在同一集群时只支持Flink和HBase均为普通模式集群的对接 当HBase与Flink为同一集群或互信的集群
HBase SQL查询样例代码说明 功能简介 Phoenix是构建在HBase之上的一个SQL中间层，提供一个客户端可嵌入的JDBC驱动，Phoenix查询引擎将SQL输入转换为一个或多个HBase scan，编译并执行扫描任务以产生一个标准的JDBC结果集。 代码样例 客户端“hbase-example
Flink Stream SQL Join Java样例代码 功能简介 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 用户在开发前需要使用对接安全模式的Kafka，则需要引入MRS的kafka-client-xx.x.x.jar，该
Spark SQL样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间
Spark SQL样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间
SQL语法兼容TIMESTAMP/DATE特殊字符 问题 在Spark 3.2.0社区版本之后，将不再支持TIMESTAMP(*)或DATE(*)的语法，其中*代表如下特殊时间字符： epoch today yesterday tomorrow now 默认只支持timestamp
SparkSQL读取ORC表报错 问题现象 Hive创建ORC存储格式的表，用SparkSQL读取该表时报错： 原因分析 该问题为一个开源社区问题：https://issues.apache.org/jira/browse/HIVE-11102，使用开源的hive 1.2.1版本包就有可能触发此问题
证书替换日志，包括生成二级证书、cas证书、httpd证书的日志。
执行SQL语句时，需要添加参数“--driver-memory”，设置内存大小，例如： /spark-sql --master=local[4] --driver-memory=512M -f /tpch.sql 在执行SQL语句前，请使用MRS集群管理员用户修改内存大小配置。
source bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户，当前用户需要具有创建ClickHouse表的权限，具体请参见ClickHouse用户及权限管理章节，为用户绑定对应角色。
执行SQL语句时，需要添加参数“--driver-memory”，设置内存大小，例如： /spark-sql --master=local[4] --driver-memory=512M -f /tpch.sql 在执行SQL语句前，请使用MRS集群管理员用户修改内存大小配置。
通过JDBC访问Spark SQL样例程序 通过JDBC访问Spark SQL样例程序开发思路 通过JDBC访问Spark SQL样例程序（Java） 通过JDBC访问Spark SQL样例程序（Scala） 父主题： 开发Spark应用
通过JDBC方式实现查询HetuEngine SQL任务 功能简介 通过JDBC连接方式，使用用户名和密码连接到HetuEngine，组装对应的SQL发送到HetuEngine执行，并能查询对应的SQL语句执行进度和状态。 import io.XXX.jdbc.XXXResultSet
优化数据倾斜场景下的Spark SQL性能 配置场景 在Spark SQL多表Join的场景下，会存在关联键严重倾斜的情况，导致Hash分桶后，部分桶中的数据远高于其它分桶。最终导致部分Task过重，跑得很慢；其它Task过轻，跑得很快。一方面，数据量大Task运行慢，使得计算性能低
优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中，经常会存在很多小文件（大小远小于HDFS块大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuffle
SparkSQL建表时的目录权限 问题 新建的用户，使用SparkSQL建表时出现类似如下错误： 0: jdbc:hive2://192.168.169.84:22550/default> create table testACL(c string); Error: org.apache.spark.sql.execution.QueryExecutionException
spark-sql退出时打印RejectedExecutionException异常栈 问题 执行大数据量的Spark任务（如2T的TPCDS测试套），任务运行成功后，在spark-sql退出时概率性出现RejectedExecutionException的异常栈信息，相关日志如下所示
SparkSQL建表时的目录权限 问题 新建的用户，使用SparkSQL建表时出现类似如下错误： 0: jdbc:hive2://192.168.169.84:22550/default> create table testACL(c string); Error: org.apache.spark.sql.execution.QueryExecutionException
通过JDBC访问Spark SQL样例程序 通过JDBC访问Spark SQL样例程序开发思路 通过JDBC访问Spark SQL样例程序（Java） 过JDBC访问Spark SQL样例程序（Scala） 父主题： 开发Spark应用
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
