检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中，经常会存在很多小文件（大小远小于HDFS块大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuff
table => '[table_name]'); 参数描述 表1 参数描述 参数 描述 table_name 需要查询的表名，支持database.tablename格式。 示例 call show_hoodie_properties(table => "hudi_table5");
操作HBase数据源 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase，将dataFrame写入HBase中，并从HBase读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：
操作HBase数据源 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase，将dataFrame写入HBase中，并从HBase读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：
操作Avro格式数据 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase，本例中将数据以Avro格式存储在HBase中，并从中读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：
Spark Streaming应用运行过程中重启Kafka，Web UI界面部分batch time对应Input Size为0 records 父主题： Spark2x常见问题
Spark Streaming应用运行过程中重启Kafka，Web UI界面部分batch time对应Input Size为0 records 父主题： Spark常见问题
"kms:*:get*", "kms:*:list*", "rds:*:get*", "rds:*:list*", "mrs:bootstrap:*",
配置Hive自读自写SQL防御规则 操作场景 Hive支持对自读自写的SQL语句进行拦截。如果一条SQL语句中查询的表、分区或目录与插入的表、分区或目录一致，且以覆盖的方式插入查询的结果数据，便可判定存在自读自写的场景，用户可以在SQL防御界面通过添加规则ID为“dynamic_0004”的防御规则开启该拦截功能。
编译并调测Flink应用 操作场景 在程序代码完成开发后，编译jar包并上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是相同的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行，只支持在Linux环境下运行。
配置Hive Beeline高可靠性 操作场景 在批处理任务运行过程中，beeline客户端由于网络异常等问题断线时，Hive能支持beeline在断线前已经提交的任务继续运行。当再次运行该批处理任务时，已经提交过的任务不再重新执行，直接从下一个任务开始执行。 在批处理任务运行过
val words = str.split("\\s") if (words.length < 2) return new Tuple2[String, String] new Tuple2[String, String](words(0), words(1))
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
val words = str.split("\\s") if (words.length < 2) return new Tuple2[String, String] new Tuple2[String, String](words(0), words(1))
Exception { String[] words = s.split("\\s"); if (words.length < 2) { return
OFFSET OFFSET OFFSET的作用是丢弃结果集中的前若干行数据。 OFFSET count [ ROW | ROWS ] 如果有ORDER BY，则OFFSET将会作用于排序后的结果集，OFFSET丢弃前若干行数据后保留的数据集，仍然是排序的： SELECT name
stored as textfile location 'hdfs://hacluster/user/hive/warehouse/database/table/jsondata'; 查询表出现异常。 该章节内容适用于MRS 1.9.2之后版本。 原因分析 使用默认开源的JSON
Spark2x Spark2x基本原理 Spark2x多主实例 Spark2x多租户 Spark2x与其他组件的关系 Spark2x开源新特性说明 Spark跨源复杂数据的SQL查询优化 父主题： 组件介绍
操作Avro格式数据 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase，本例中将数据以Avro格式存储在HBase中，并从中读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
