检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
return tuple2.value(); } }); // 汇总计算字数的总时间。 JavaPairDStream<String, Integer> wordCounts = lines.mapToPair( new PairFunction<String
return tuple2.value(); } }); //汇总计算字数的总时间。 JavaPairDStream<String, Integer> wordCounts = lines.mapToPair( new PairFunction<String
MapReduce访问多组件样例代码 功能介绍 主要分为三个部分: 从HDFS原文件中抽取name信息,查询HBase、Hive相关数据,并进行数据拼接,通过类MultiComponentMapper继承Mapper抽象类实现。 获取拼接后的数据取最后一条输出到HBase、HDF
Hudi Schema演进 Schema演进介绍 配置SparkSQL支持Hudi Schema演进 Hudi Schema演进及语法说明 Hudi Schema演进并发说明 父主题: 使用Hudi
Hive故障排除 如何对insert overwrite自读自写场景进行优化 Hive SQL运行变慢阶段如何排查 父主题: 使用Hive
Spark故障排除 访问Spark应用获取的restful接口信息有误 为什么从Yarn Web UI页面无法跳转到Spark Web UI界面 HistoryServer缓存的应用被回收,导致此类应用页面访问时出错 加载空的part文件时,app无法显示在JobHistory的页面上
使用Spark(MRS 3.x之前版本) 从零开始使用Spark 从零开始使用Spark SQL 使用Spark客户端 访问Spark Web UI界面 Spark对接OpenTSDB
ClickHouse数据库调优 ClickHouse调优思路 ClickHouse系统调优 ClickHouse SQL调优 ClickHouse参数调优实践 父主题: ClickHouse应用开发规范
读取Phoenix表数据 功能简介 使用Phoenix实现读数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。 /** * Select Data */
读取Phoenix表数据 功能简介 使用Phoenix实现读数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。 /** * Select Data */
Spark client CLI介绍 Spark CLI详细的使用方法参考官方网站的描述:http://archive.apache.org/dist/spark/docs/3.3.1/quick-start.html。 常用CLI Spark常用的CLI如下所示: spark-shell
HBase对外接口介绍 HBase Shell接口介绍 HBase Java API接口介绍 Sqlline接口介绍 HBase JDBC API接口介绍 HBase Web UI接口介绍 父主题: HBase应用开发常见问题
HBase对外接口介绍 HBase Shell接口介绍 HBase Java API接口介绍 Sqlline接口介绍 HBase JDBC API接口介绍 HBase Web UI接口介绍 父主题: HBase应用开发常见问题
Impala应用开发常见问题 Impala JDBC接口介绍 Impala SQL接口介绍 父主题: Impala开发指南(普通模式)
Spark client CLI介绍 Spark CLI详细的使用方法参考官方网站的描述:http://archive.apache.org/dist/spark/docs/3.3.1/quick-start.html。 常用CLI Spark常用的CLI如下所示: spark-shell
在Linux环境中调测HetuEngine应用 操作场景 在程序代码完成开发后,也可以把代码编译成jar包,上传到Linux环境进行程序功能调试。 在Linux环境上调测程序前,需在Linux节点预安装客户端。 操作步骤 根据需要修改“jaas-zk.conf”中“KeyTab”
Spark2x Spark2x基本原理 Spark2x多主实例 Spark2x多租户 Spark2x与其他组件的关系 Spark2x开源新特性说明 Spark跨源复杂数据的SQL查询优化 父主题: 组件介绍
Spark on Hudi开发规范 SparkSQL建表参数规范 Spark增量读取Hudi参数规范 Spark异步任务执行表compaction参数设置规范 Spark on Hudi表数据维护规范 Spark并发写Hudi建议 Spark读写Hudi资源配置建议 Spark On
Hive性能调优 建立Hive表分区提升查询效率 Hive Join数据优化 Hive Group By语句优化 Hive ORC数据存储优化 Hive SQL逻辑优化 使用Hive CBO功能优化查询效率 父主题: 使用Hive
Doris日志介绍 日志描述 日志路径:Doris相关日志的默认存储路径为“/var/log/Bigdata/doris/角色名”。 FE:“/var/log/Bigdata/doris/fe”(运行日志),“/var/log/Bigdata/audit/doris/fe”(审计日志)。