检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题: MRS应用开发开源jar包冲突列表说明
hbase-client-2.2.3-*.jar 连接HBase服务必须的jar包。 zookeeper-*.jar 连接ZooKeeper服务必须的jar包。 解决方案 使用MRS集群内的ZooKeeper包“zookeeper*.jar”。 使用exclusions排除掉hbase-client里面的zookeeper。
Server2+Clients。 Spark多租户HA方案实现 JDBCServer多主实例方案中,JDBCServer实现使用YARN-Client模式,但YARN资源队列只有一个,为了解决这种资源局限的问题,引入了多租户模式。 多租户模式是将JDBCServer和租户绑定,每
hbase-client-2.2.3-*.jar 连接HBase服务必须的jar包。 zookeeper-*.jar 连接ZooKeeper服务必须的jar包。 解决方案 使用MRS集群的ZooKeeper包“zookeeper*.jar”。 使用exclusions排除掉hbase-client里面的zookeeper。
fn_test3]] (state=42000,code=40000) 原因分析 Hive中创建永久函数需要特殊的role admin。 解决方案 在执行语句前执行set role admin命令即可解决。 父主题: 使用Hive
jdbc4-*.jar,与开源Postgre服务不兼容导致报错。 报错中type为12时:数据库的pg_hba.conf文件配置有误。 解决方案: 报错中type为5时:在每台MRS NodeManager实例所在节点上移动驱动包“gsjdbc4-*.jar”到“tmp”目录下。
cannot submit applications to queue root.QueueA 原因分析 当前登录的用户无YARN队列提交权限。 解决方案 用户无YARN队列提交权限,需要赋予YARN相应队列的提交权限。在Manager页面的“系统 >权限 > 用户”中给用户绑定队列提交权限的角色。
、监控数据聚合等场景,实现高效的流式数据采集,实时数据处理存储等。 Kafka、Storm ClickHouse集群 ClickHouse是一个用于联机分析的列式数据库管理系统,具有压缩率和极速查询性能。被广泛的应用于互联网广告、App和Web流量、电信、金融、物联网等众多领域。
如何处理checkpoint设置RocksDBStateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 问题 如何处理checkpoint设置RocksDBStateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 原因分析
jdbc4-*.jar,与开源postgre服务不兼容导致报错。 报错中type为12时:数据库的pg_hba.conf文件配置有误。 解决方案: 报错中type为5时:在每台MRS NodeManager实例所在节点上移动驱动包gsjdbc4-*.jar到tmp目录下。 mv
理平面)服务,即OMS LDAP LDAP2 部署在集群中的LdapServer(业务平面)服务 Kerberos1访问LDAP数据:以负载均衡方式访问主备LDAP1两个实例和双备LDAP2两个实例。只能在主LDAP1主实例上进行数据的写操作,可以在LDAP1或者LDAP2上进行数据的读操作。
Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。
Hive查询结果表做压缩存储(ARC4),对结果表做select * 查询时返回结果为乱码。 可能原因 Hive默认压缩格式不是ARC4格式或者未开启输出压缩。 解决方案 在select结果乱码时,在beeline中进行如下设置。 set mapreduce.output.fileoutputformat
Hive服务健康状态和Hive实例健康状态的区别 问题现象 Hive服务健康状态和Hive实例健康状态的区别是什么? 解决方案 Hive服务的健康状态(也就是在Manager界面看到的健康状态)有Good,Bad,Partially Healthy,Unknown四种状态 ,四种
解决executor/knox/os日志不回滚问题 增加executor GC日志 解决knox重启失败问题 解决节点故障提交作业失败问题 支持全链路监控 解决ResourceManager主备倒换导致作业状态不更新问题 解决部分场景下备份恢复失败问题 解决HMaster频繁出现进程故障告警问题
盘百分比。DataNode会保留这么多可用空间,以备其他组件如Yarn的NodeManager运行计算时,或者预留升级时使用。 因为预留了10%的磁盘,当磁盘使用率达到90%的时候,HDFS的DataNode即会认为没有可用磁盘空间。 解决办法 扩容,在HDFS DataNode
多个HiveServer之间或者Hive与Spark之间共用的元数据未同步,导致不同HiveServer实例内存数据不一致,造成UDF不生效。 解决方案 需要将新建的UDF信息同步到HiveServer中,执行reload function操作即可。 父主题: 使用Hive
下其它目录和文件是否有读写权限,如果该目录不存在,会去判断其父目录,依次类推。如果一直不满足就会报权限不足。而不是报指定的目录不存在。 解决方案 请确认当前用户为路径“/tmp/aaa/aaa”的owner有读写权限,如果该路径不存在,确认对其父路径有读写权限。 父主题: 使用Hive
状态。 FlinkServer节点使用的HA浮点网卡配置异常,导致FlinkServer启动故障。 主备FlinkServer节点间链路异常。 处理步骤 检查FlinkServer主备实例状态。 在FusionInsight Manager界面,选择“集群 > 服务 > Flink
so,而使用系统自带的libssl.so(因为hadoop native目录没有带该包) 。由于这两个库版本不匹配,导致了python文件运行时出现段错误。 解决方案 方案一: 修改Spark2x客户端conf目录下spark-default.conf文件,清空(直接赋值为空) 配置项spark.driver