检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作HBase数据源 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase，将dataFrame写入HBase中，并从HBase读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：
操作HBase数据源 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase，将dataFrame写入HBase中，并从HBase读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：
SHOW CREATE TABLE 语法 SHOW CREATE TABLE table_name 描述 显示指定数据表的SQL创建语句。 示例 显示能够创建orders表的SQL语句： CREATE TABLE orders ( orderkey bigint, orderstatus
运行HiveSql作业 用户可将自己开发的程序提交到MRS中，执行程序并获取结果，本章节指导您如何在MRS集群中提交一个HiveSql作业。 HiveSql作业用于提交Hive SQL语句和SQL脚本文件查询和分析数据，包括SQL语句和Script脚本两种形式，如果SQL语句中涉及敏感信息，也可使用脚本文件方式提交。
将lines切分为word words = lines.select(explode(split(lines.value, " ")).alias("word")) # 生成正在运行的word count wordCounts = words.groupBy("word")
将lines切分为word words = lines.select(explode(split(lines.value, " ")).alias("word")) # 生成正在运行的word count wordCounts = words.groupBy("word")
Hudi Cleaning操作说明 Cleaning用于清理不再需要的版本数据。 Hudi使用Cleaner后台作业，不断清除不需要的旧版本数据。通过配置hoodie.cleaner.policy和hoodie.cleaner.commits.retained可以使用不同的清理策略和保存的commit数量。
Spark客户端使用实践 本章节提供从零开始使用Spark2x提交spark应用程序，包括Spark Core及Spark SQL。其中，Spark Core为Spark的内核模块，主要负责任务的执行，用于编写spark应用程序；Spark SQL为执行SQL的模块。 场景说明
"kms:*:get*", "kms:*:list*", "rds:*:get*", "rds:*:list*", "mrs:bootstrap:*",
配置Structured Streaming使用RocksDB做状态存储 本章节仅适用于MRS 3.3.0及之后版本。 配置场景 当大量的状态信息存储在默认的HDFS BackedStateStore，导致JVM GC占用大量时间时，可以通过如下配置，选择RocksDB作为状态后端。
Spark Streaming应用运行过程中重启Kafka，Web UI界面部分batch time对应Input Size为0 records 父主题： Spark常见问题
使用Spark/Spark2x Spark使用说明 Spark用户权限管理 Spark客户端使用实践 访问Spark WebUI界面 使用代理用户提交Spark作业 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强
优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中，经常会存在很多小文件（大小远小于HDFS块大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuff
编译并调测Flink应用 操作场景 在程序代码完成开发后，建议您上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是一样的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行，只支持在Linux环境下运行。
配置Spark小文件自动合并 配置场景 小文件自动合并特性开启后，Spark将数据先写入临时目录，再去检测每个分区的平均文件大小是否小于16MB（默认值）。如果发现平均文件大小小于16MB，则认为分区下有小文件，Spark会启动一个Job合并这些小文件，并将合并后的大文件写入到最终的表目录下。
HetuEngine物化视图概述 HetuEngine物化视图功能适用于MRS 3.2.0及以后版本。 HetuEngine物化视图背景介绍 HetuEngine具备物化视图能力。在实际运用中，将高频访问的SQL查询和有高耗时的算子（连接， 聚合等算子）的SQL通过建立物化视图进
Exception { String[] words = s.split("\\s"); if (words.length < 2) { return
val words = str.split("\\s") if (words.length < 2) return new Tuple2[String, String] new Tuple2[String, String](words(0), words(1))
配置Spark读取HBase表数据 Spark On HBase Spark on HBase为用户提供了在Spark SQL中查询HBase表，通过Beeline工具为HBase表进行存数据等操作。通过HBase接口可实现创建表、读取表、往表中插入数据等操作。 登录Manager界面，选择“集群
MRS 3.1.5版本说明 发布日期 MRS 3.1.5 2023年3月28日 更新内容 服务模块 主要变更点 CarbonData 升级到2.2.0版本。 ClickHouse 支持通过FusionInsight Manager备份恢复元数据及业务数据。 Flink 升级到1.12
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
