检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
toreFiles加载到集群的相应节点。这种方式无需进行flush、compact、split等过程,不占用Region资源,不会产生巨量的写入I/O,所以需要较少的CPU和网络资源。 BulkLoad适合的场景: 大量数据一次性加载到HBase。 对数据加载到HBase可靠性要求不高,不需要生成WAL文件。
场景二异常信息 回答 场景一: add jar语句只会将jar加载到当前连接的JDBCServer的jarClassLoader,不同JDBCServer不会共用。JDBCServer重启后会创建新的jarClassLoader,所以需要重新add jar。 添加jar包有两种方式:可以在启
场景二异常信息 回答 场景一: add jar语句只会将jar加载到当前连接的JDBCServer的jarClassLoader,不同JDBCServer不会共用。JDBCServer重启后会创建新的jarClassLoader,所以需要重新add jar。 添加jar包有两种方式:可以在启
distribution 指定是否使用Spark或CarbonData的块分布功能。 enable.unsafe.sort 指定在数据加载期间是否使用不安全的排序。不安全的排序可减少数据加载操作期间的垃圾回收,从而实现更好的性能。 carbon.si.lookup.partialstring 当参数设
distribution 指定是否使用Spark或CarbonData的块分布功能。 enable.unsafe.sort 指定在数据加载期间是否使用不安全的排序。不安全的排序可减少数据加载操作期间的垃圾回收,从而实现更好的性能。 carbon.si.lookup.partialstring 当参数设
产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 如果Loader服务不可用,数据加载,导入,转换的功能也不可用。 可能原因 Loader服务依赖的内部服务异常。 ZooKeeper服务异常。 HDFS服务异常。 DBService服务异常。
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 如果Loader服务不可用,数据加载,导入,转换的功能也不可用。 可能原因 Loader服务依赖的内部服务异常。 ZooKeeper服务异常。 HDFS服务异常。 DBService服务异常。
群异常。 问题现象 所有NameNode都是备状态,导致集群异常。 原因分析 集群安装启动后,如果修改NameNode的RPC端口,则需要重新格式化Zkfc服务来更新zookeeper上的节点信息。 处理步骤 登录Manager,停止HDFS服务。 在停止HDFS时,建议不要停止相关服务。
dc-b1f0-002751557694 (No such file or directory) 回答 在History Server页面加载Task个数较多的Spark应用时,由于无法把全部的数据放入内存中,导致数据溢出到磁盘时,会产生前缀为“temp_shuffle”的文件。
dc-b1f0-002751557694 (No such file or directory) 回答 在History Server页面加载Task个数较多的Spark应用时,由于无法把全部的数据放入内存中,导致数据溢出到磁盘时,会产生前缀为“temp_shuffle”的文件。
-b1f0-002751557694 (No such file or directory) 原因分析 在History Server页面加载Task个数较多的Spark应用时,由于无法把全部的数据放入内存中,导致数据溢出到磁盘时,会产生前缀为“temp_shuffle”的文件。
Alluxio初始化 功能简介 在使用Alluxio提供的API之前,需要先进行Alluxio初始化操作。过程为: 加载HDFS服务配置文件。 实例化Filesystem。 使用HDFS的API。 代码样例 如下是代码片段,详细代码请参考ExampleClient类。 /** *
创建Configuration 功能介绍 HBase通过加载配置文件来获取配置项,包括用户登录信息配置项。 代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包中。 调用类TestMain下的init()方法会初始化Configuration对象:
访问Hue原生页面时间长,文件浏览器报错Read timed out 问题 访问Hue原生页面时页面加载时间较长,访问Hue的HDFS文件浏览器报错Read timed out,如何解决。 回答 检查HDFS服务中是否安装Httpfs实例。 否,请联系运维人员处理。 是,重启HttpFS实例解决。
访问Hue原生页面时间长,文件浏览器报错Read timed out 问题 访问Hue原生页面时页面加载时间较长,访问Hue的HDFS文件浏览器报错Read timed out,如何解决。 回答 检查HDFS服务中是否安装Httpfs实例。 否,请联系运维人员处理。 是,重启HttpFS实例解决。
Configuration实例的创建 该类应该通过调用HBaseConfiguration的create()方法来实例化。否则,将无法正确加载HBase中的相关配置项。 正确示例: //该部分,应该是在类成员变量的声明区域声明 private Configuration hbaseConfig
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 系统无法提供数据加载,查询,提取服务。 可能原因 Hue服务所依赖内部服务KrbServer故障。 Hue服务所依赖内部服务DBService故障。 与DBService连接的网络异常。
场景说明 场景说明 用户自定义JDBCServer的客户端,使用JDBC连接来进行数据表的创建、数据加载、查询和删除。 数据规划 确保以HA模式启动了JDBCServer服务,并至少有一个实例对外服务。在hdfs上创建"/home/data"目录,新增包含如下内容的文件并上传到h
DELETE SEGMENT by DATE 命令功能 DELETE SEGMENT by DATE命令用于通过加载日期删除CarbonData segment,在特定日期之前创建的segment将被删除。 命令格式 DELETE FROM TABLE db_name.table_name
DELETE SEGMENT by DATE 命令功能 DELETE SEGMENT by DATE命令用于通过加载日期删除CarbonData segment,在特定日期之前创建的segment将被删除。 命令格式 DELETE FROM TABLE db_name.table_name