检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka”,查看健康状态是否为“良好”。 是,执行3.e。 否,执行4。 等待30秒,查看告警是否恢复。 是,处理完毕。 否,执行4。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
> HDFS > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight
NameNode配置的内存不足。 处理步骤 清除无用文件。 在集群节点使用客户端,执行hdfs dfs -rm -r 文件或目录路径命令,确认删除无用的文件。 等待5分钟后,检查本告警是否恢复。 是,处理完毕。 否,执行2。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。
DataNode配置的内存不足。 处理步骤 清除无用文件。 在集群节点使用客户端,执行hdfs dfs -rm -r 文件或目录路径命令,确认删除无用的文件。 等待5分钟后,检查本告警是否恢复。 是,处理完毕。 否,执行2。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。
> Yarn > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight
数据成为脏数据。 当字段的值与实际的类型不匹配时,该行数据会成为脏数据。 样例 以HBase导出到sqlserver2014数据库为例。 在sqlserver2014上创建一张空表test_1用于存储HBase数据。执行以下语句: create table test_1 (id int
config/consumer.properties Windows客户端代码使用SSL功能 下载Kafka客户端,解压后在根目录中找到ca.crt证书文件。 使用ca.crt证书生成客户端的truststore。 在安装了Java的环境下执行命令: keytool -noprompt -import -alias
使用HetuEngine用户登录FusionInsight Manager,选择“集群 > 服务 > HDFS”,进入HDFS服务页面。 在概览页签下的“基本信息”区域,单击“NameNode WebUI”后的链接,进入NameNode WebUI界面。 选择“Utilities
HBase应用开发常用概念 过滤器 过滤器用于帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器,而且可以实现自定义的过滤器。 协处理器 允许用户执行region级的操作,并且可以使用与RDBMS中触发器类似的功能。 Client 客户端直接面向用户,可通过Java
group_id=b.group_id) as banji from emp1 a”的关联子查询SQL语法。 配置参数 spark-sql 场景:在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置,修改如下参数:
LdapServer进程pid,等待20秒以后,HA会自动启动Oldap进程。观察当前OLdap资源状态是否正常。 是,操作结束。 否,执行3。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
config/consumer.properties Windows客户端代码使用SSL功能 下载Kafka客户端,解压后在根目录中找到ca.crt证书文件。 使用ca.crt证书生成客户端的truststore。 在安装了Java的环境下执行命令: keytool -noprompt -import -alias
compression.codec”配置项只适用于设置非分区表的parquet压缩格式。 配置参数 参数入口: 在Manager系统中,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,在搜索框中输入参数名称。 表1 参数介绍 参数 描述 默认值 spark.sql.parquet
BS问题 解决YARN开源原生界面作业占用队列资源百分比不显示问题 解决YARN开源原生界面查看作业日志时显示不全的问题 解决Hive作业在HDFS上临时文件残留问题 解决开源Sqoop 1.4.7版本对接MRS Hive服务兼容性问题 解决Hive on MR查询Avro表失败问题
率数据丢失的现象。对数据可靠性要求高的场景请慎重配置。 操作步骤 参数入口: 在FusionInsight Manager系统中,选择“集群 > 服务 > HBase > 配置”,单击“全部配置”。在搜索框中输入参数名称,并进行修改。 表1 提升连续Put场景性能的参数 参数 描述
properties”文件中配置。 byteOffsetHeader false 是否在每一个Event头中携带该Event在源文件中的位置信息,该信息保存在“byteoffset”变量中。 skipToEnd false Flume在重启后是否直接定位到文件最新的位置处,以读取最新的数据。 idleTimeout
执行以下命令卸载“krb5-workstation”软件和依赖的软件: rpm -e krb5-workstation-1.10.3-33.el6.x86_64 在Kerberos服务节点上使用kill -9命令结束Kerbeors的进程,等待其重启即可。 父主题: 登录集群Manager常见异常问题
下载客户端”,下载全部服务的客户端。Beeline客户端不受此限制。 由于权限模型不兼容,使用HCatalog客户端创建的表,在HiveServer客户端中不能访问,但可以使用WebHCat客户端访问。 在普通模式下使用HCatalog客户端,系统将以当前登录操作系统用户来执行DDL命令。 退出beeline客户端时请使用
librdkafka具体修改步骤: librdkafka源码地址:https://github.com/edenhill/librdkafka。 在src/rdkafka_conf.c文件中增加sasl.kerberos.service.name配置项。 "Kerberos principal
待操作集群的名称 > 服务 > Hive > 配置 > 全部配置”,搜索“hive.local.dir.confblacklist”配置项。 在该配置项中添加用户要重点保护的数据库、表或目录路径。 输入完成后,单击“保存”,保存配置项。 父主题: Hive常见问题