检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
uet文件的写入类进行写入,Spark对不同精度的Decimal类型处理是不同的。 UPSERT操作时,Hudi使用Avro兼容的parquet文件写入类进行写入,这个和Spark的写入方式是不兼容的。 解决方案: 执行BULK_INSERT时指定设置“hoodie.datasource
VM进程,同一台服务器可以有多个Agent。收集节点(Agent1,2,3)负责处理日志,汇聚节点(Agent4)负责写入HDFS,每个收集节点的Agent可以选择多个汇聚节点,这样可以实现负载均衡。 图3 Flume级联结构图 Flume的架构和详细原理介绍,请参见:https://flume
dir}设置了输出目录,因此在yarn-cluster模式执行任务不会报FileNotFoundException异常。 处理方法: 注:下面所说的$SPAKR_HOME默认是/opt/client/Spark/spark 解决方案1:手动切换日志配置文件。修改文件$SPARK_HOME/conf/spark-defaults
%,即配置此参数为80。 90 本地磁盘 由于本地磁盘会提供给MapReduce写job执行的中间结果,数据量大。因此配置的原则是磁盘尽量多,且磁盘空间尽量大,单个达到百GB以上规模更合适。简单的做法是配置和data node相同的磁盘,只在最下一级目录上不同即可。 多个磁盘之间使用逗号隔开。
Manager及部分组件可能无法正常运行。 可能原因 主备Manager节点间链路中断,/srv/BigData/LocalBackup目录存储空间已满。 同步文件不存在,或者文件权限有误。 处理步骤 检查主备Manager服务器间的网络是否正常。 在FusionInsight
对系统的影响 Tablet数量高于预期时,Kudu引擎的查询性能会降低。 可能原因 TServer使用率过高或TServer负载不均衡。 处理步骤 处理Kudu实例异常 在FusionInsight Manager首页,选择“运维 > 告警”页面,查看是否存在“ALM-45476 Ku
对系统的影响 Tablet数量高于预期时,Kudu引擎的查询性能会降低。 可能原因 Tserver使用率过高或Tserver负载不均衡。 处理步骤 处理Kudu实例异常 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”页面,查看是否有“ALM-45479
如何处理视图拥有者权限不足缺少函数的grant权限 问题 访问独立部署Hive数据源的视图时,如果Hive视图中使用了函数,可能会出现如下报错信息:view owner does not have sufficient privileges。 图1 报错信息 回答 HetuEng
Hive服务状态为Unknown 问题现象 Hive服务状态为unknown。 可能原因 Hive服务停止。 解决方案 尝试重启Hive服务。 父主题: 使用Hive
对系统的影响 如果主Manager进程资源异常,主备倒换无法进行,影响运维基本功能使用。 可能原因 主备Manager节点间链路异常。 节点名配置错误。 防火墙禁用端口。 处理步骤 检查主备Manager服务器间的网络是否正常。 在FusionInsight Manager页面,选择“运维
DBService主备间心跳中断时只有一个节点提供服务,一旦该节点故障,再无法切换到备节点,就会服务不可用。 可能原因 主备DBService节点间链路异常。 处理步骤 检查主备DBService服务器间的网络是否正常。 在FusionInsight Manager页面,在告警列表中,单击此告警
备Manager的配置文件没有更新。主备倒换之后,一些配置可能会丢失。Manager及部分组件可能无法正常运行。 可能原因 主备Manager节点间链路中断。 处理步骤 检查主备Manager服务器间的网络是否正常。 打开MRS集群详情页面,在告警管理页签的告警列表中,单击此告警所在行,在告警详情中,查看该告警的备Manager
%,即配置此参数为80。 90 本地磁盘 由于本地磁盘会提供给MapReduce写job执行的中间结果,数据量大。因此配置的原则是磁盘尽量多,且磁盘空间尽量大,单个达到百GB以上规模更好。简单的做法是配置和data node相同的磁盘,只在最下一级目录上不同即可。 多个磁盘之间使用逗号隔开。
HiveServer或者MetaStore实例的健康状态为unknown。 可能原因 HiveServer或者MetaStore实例被停止。 解决方案 重启HiveServer或者MetaStore实例。 父主题: 使用Hive
kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题: MRS应用开发开源jar包冲突列表说明
kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题: MRS应用开发开源jar包冲突列表说明
MRS是否支持更换网段? MRS集群内节点是否支持降配操作? 不同版本的Hive之间是否可以兼容? 数据存储在OBS和HDFS有什么区别? 10亿级数据量场景的解决方案有哪些? zstd压缩算法有什么优势?
对端Manager HA名称。 对系统的影响 如果主Manager进程异常,主备倒换无法进行,影响业务。 可能原因 主备Manager节点间链路异常。 处理步骤 检查主备Manager服务器间的网络是否正常。 打开MRS集群详情页面,在告警管理页签的告警列表中,单击此告警所在行,在告警详
DBService主备间心跳中断时只有一个节点提供服务,一旦该节点故障,再无法切换到备节点,就会服务不可用。 可能原因 主备DBService节点间链路异常。 处理步骤 检查主备DBService服务器间的网络是否正常。 登录MRS集群详情页面,选择“告警管理”。 在告警列表中,单击此告警所在行
使用Kerberos进行的二次认证较慢。 ZooKeeper服务异常。 导致节点故障。 可能原因 该节点配置了DNS客户端。 该节点安装并启动了DNS服务端。 处理步骤 检查是否配置了DNS客户端。 登录MRS集群详情页面,选择“告警管理”。 查看该告警的详细信息,查看定位信息中对应的“HostName”字段值,获取该告警产生的主机名。