正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
读取Hudi数据概述 Hudi的读操作,作用于Hudi的三种视图之上,可以根据需求差异选择合适的视图进行查询。 Hudi 支持多种查询引擎Spark和Hive,具体支持矩阵见表1和表2。 表1 cow表 查询引擎 实时视图/读优化视图 增量视图 Hive Y Y Spark(SparkSQL)
导入并配置Spark样例工程 操作场景 Spark针对多个场景提供样例工程,包含Java样例工程和Scala样例工程等,帮助客户快速学习Spark工程。 针对Java和Scala不同语言的工程,其导入方式相同。使用Python开发的样例工程不需要导入,直接打开Python文件(*
开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark
插入ClickHouse数据 创建ClickHouse表创建的表具有三个字段,分别是String、UInt8和Date类型。 String insertSql = "insert into " + databaseName + "." + tableName + " values
Hudi Cleaning操作说明 Cleaning用于清理不再需要的版本数据。 Hudi使用Cleaner后台作业,不断清除不需要的旧得版本的数据。通过配置hoodie.cleaner.policy和hoodie.cleaner.commits.retained可以使用不同的清理策略和保存的commit数量。
读取Hudi数据概述 Hudi的读操作,作用于Hudi的三种视图之上,可以根据需求差异选择合适的视图进行查询。 Hudi支持多种查询引擎Spark、Hive、HetuEngine,具体支持矩阵见表1和表2。 表1 cow表 查询引擎 实时视图/读优化视图 增量视图 Hive Y Y
ALM-29016 Impalad实例亚健康 告警解释 MRS 3.1.5版本:系统每60秒周期性检测Impalad的Hive Server2 HTTP端口(28000)是否响应curl请求,当返回结果不正确(连续2次检测超过20秒)时产生该告警,当curl请求在20秒内正确响应时,告警恢复。
插入ClickHouse数据 创建ClickHouse表创建的表具有三个字段,分别是String、UInt8和Date类型。 String insertSql = "insert into " + databaseName + "." + tableName + " values
插入ClickHouse数据 创建ClickHouse表创建的表具有三个字段,分别是String、UInt8和Date类型。 String insertSql = "insert into " + databaseName + "." + tableName + " values
Hive故障排除 如何对insert overwrite自读自写场景进行优化 Hive SQL运行变慢阶段如何排查 父主题: 使用Hive
作业管理类 MRS集群支持提交哪些形式的Spark作业? MRS节点访问OBS报错408如何处理? 如何让不同的业务程序分别用不同的Yarn队列? 提交作业失败,报错与OBS相关如何处理? MRS集群的租户资源最小值改为0后,只能同时运行一个Spark任务吗? 作业提交参数间用空格隔开导致参数信息不被识别如何处理?
Hudi Schema演进 Schema演进介绍 Schema演进支持范围 配置SparkSQL支持Hudi Schema演进 Hudi Schema演进及语法说明 Hudi Schema演进并发说明 父主题: 使用Hudi
配置HetuEngine物化视图改写能力 开启物化视图改写能力 HetuEngine支持在System级别或者Session级别开启物化视图改写能力,开启方法如下所示: Session级别: 参考快速使用HetuEngine访问Hive数据源在HetuEngine客户端执行set
HBase对外接口介绍 HBase Shell接口介绍 HBase Java API接口介绍 Sqlline接口介绍 HBase JDBC API接口介绍 HBase Web UI接口介绍 父主题: HBase应用开发常见问题
HBase对外接口介绍 HBase Shell接口介绍 HBase Java API接口介绍 Sqlline接口介绍 HBase JDBC API接口介绍 HBase Web UI接口介绍 父主题: HBase应用开发常见问题
Spark2x开源增强特性 Spark2x开源新特性说明 CarbonData基本原理 Spark跨源复杂数据的SQL查询优化 父主题: Spark2x
使用Spark(MRS 3.x之前版本) 使用前须知 从零开始使用Spark 从零开始使用Spark SQL 使用Spark客户端 访问Spark Web UI界面 Spark对接OpenTSDB
读取Phoenix表数据 功能简介 使用Phoenix实现读数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。 /** * Select Data */
读取Phoenix表数据 功能简介 使用Phoenix实现读数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。 /** * Select Data */
Hive性能调优 建立Hive表分区提升查询效率 Hive Join数据优化 Hive Group By语句优化 Hive ORC数据存储优化 Hive SQL逻辑优化 使用Hive CBO功能优化查询效率 父主题: 使用Hive