检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
读Kudu数据 功能简介 通过KuduClient.newScannerBuilder(KuduTable table)方法生成一个KuduScanner对象,然后再通过设置谓词条件从Kudu表里过滤读取数据。 代码样例 如下是读取数据的代码片段: KuduTable table
读HDFS文件 功能简介 获取HDFS上某个指定文件的内容。 在完成后,需关闭所申请资源。 代码样例 如下是读文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsMain类。 /** * 读文件 * *
SHOW显示数据库和表信息 本章节主要介绍ClickHouse显示数据库和表信息的SQL基本语法和使用说明。 基本语法 show databases show tables 使用示例 --查询数据库 show databases; ┌─name────┐ │ default
SHOW显示数据库和表信息 本章节主要介绍ClickHouse显示数据库和表信息的SQL基本语法和使用说明。 基本语法 show databases show tables 使用示例 --查询数据库 show databases; ┌─name────┐ │ default
HBase shell客户端在使用中有INFO信息打印在控制台导致显示混乱 用户问题 在使用HBase shell中会有INFO信息打印在控制台,导致显示混乱,用户在输入命令前需要按回车符清理控制台。如下图所示: 原因分析 HBase客户端中默认日志打印设置为“INFO,cons
Hudi读操作 读取Hudi数据概述 读取Hudi cow表视图 读取Hudi mor表视图 父主题: 使用Hudi
Hudi读操作 读取Hudi数据概述 读取Hudi cow表视图 读取Hudi mor表视图 父主题: 使用Hudi
读取Hudi数据概述 Hudi的读操作,作用于Hudi的三种视图之上,可以根据需求差异选择合适的视图进行查询。 Hudi支持多种查询引擎Spark、Hive、HetuEngine,具体支持矩阵见表1和表2。 表1 cow表 查询引擎 实时视图/读优化视图 增量视图 Hive Y Y
访问HDFS WebUI时,界面提示无法显示此页 问题 通过IE 9、IE 10和IE 11等浏览器访问HDFS的原生UI界面,偶尔出现访问失败情况。 现象 访问页面失败,浏览器无法显示此页,如下图所示: 原因 IE 9、IE 10、IE 11浏览器的某些版本在处理SSL握手有问题导致访问失败。
访问HDFS WebUI时,界面提示无法显示此页 问题 通过IE 9、IE 10和IE 11等浏览器访问HDFS的原生UI界面,偶尔出现访问失败情况。 现象 访问页面失败,浏览器无法显示此页,如下图所示: 原因 IE 9、IE 10、IE 11浏览器的某些版本在处理SSL握手有问题导致访问失败。
为什么NameNode UI上显示有一些块缺失 问题 回滚成功后,为什么NameNode UI上显示有一些块缺失? 回答 原因:具有新id/genstamps的块可能存在于DataNode上。DataNode中的块文件可能具有与NameNode的回滚image中不同的生成标记和长
为什么NameNode UI上显示有一些块缺失 问题 回滚成功后,为什么NameNode UI上显示有一些块缺失? 回答 原因:具有新id/genstamps的块可能存在于DataNode上。DataNode中的块文件可能具有与NameNode的回滚image中不同的生成标记和长
读Alluxio文件 功能简介 获取Alluxio上某个指定文件的内容。 代码样例 用于获取Alluxio上某个指定文件的内容。 以下为部分代码片段: /** * read file * @throws java.io.IOException */ private void read()
需要控制页面显示的Lost Executor个数。 配置描述 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.ui.retainedDeadExecutors Spark UI页面显示的Lost Executor的最大个数。
需要控制页面显示的Lost Executor个数。 配置描述 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.ui.retainedDeadExecutors Spark UI页面显示的Lost Executor的最大个数。
启动HDFS和Yarn服务报错“Permission denied” HDFS用户可在其他用户目录下创建或删除文件 HDFS的DataNode一直显示退服中 内存不足导致HDFS NameNode启动失败 ntpdate修改时间导致HDFS出现大量丢块 DataNode概率性出现CPU占用接近100%导致节点丢失
读取延迟。开启多路读能够提高HDFS在高延迟网络环境中的可靠性,主要体现在以下方面: 降低读取延迟:通过同时从多个数据节点读取相同的数据块来降低总体读取时间。 适应网络变化:在网络条件不稳定或部分节点出现性能问题时,提高客户端的读取效率。 对系统的影响 多路读会增加网络流量和CP
加载空的part文件时,app无法显示在JobHistory的页面上 问题 在分组模式下执行应用,当HDFS上的part文件为空时,发现JobHistory首页面上不显示该part对应的app。 回答 JobHistory服务更新页面上的app时,会根据HDFS上的part文件大
如何处理IE10/11页面算子的文字部分显示异常 问题 如何处理IE10/11页面显示异常,每个算子的文字部分没有显示出来的问题?如图1所示,Overview显示为空白。 图1 页面显示异常 回答 Flink中用了foreignObject元素来代理绘制svg矢量图,但是IE 1
如何处理IE10/11页面算子的文字部分显示异常 问题 如何处理IE10/11页面显示异常,每个算子的文字部分没有显示出来的问题?如图1所示,Overview显示为空白。 图1 页面显示异常 回答 Flink中用了foreignObject元素来代理绘制svg矢量图,但是IE 1