检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志文件名 描述 运行日志 /var/log/Bigdata/clickhouse/clickhouseServer/clickhouse-server.err.log ClickHouseServer服务运行错误日志文件路径。 /var/log/Bigdata/clickhouse/
net.NetUtils.connect(NetUtils.java:495) at org.apache.hadoop.hdfs.server.datanode.DataXceiver.writeBlock(DataXceiver.java:800) at org.apache
ZooKeeper垃圾回收日志。 instanceHealthDetail.log ZooKeeper实例健康状态检查日志 zookeeper-omm-server-<hostname>.out ZooKeeper运行异常退出日志。 zk-err-<zkpid>.log ZooKeeper致命错误日志。
Certificate”,查看“定位信息”获取告警所在节点主机名,使用PuTTY工具以omm用户登录该主机,执行4。 告警附加信息中显示“HA server Certificate”, 查看“定位信息”获取告警所在节点主机名,使用PuTTY工具以omm用户登录该主机,执行5 检查系统中合法证书文件的有效期。
配置HDFS客户端元数据缓存提高读取性能 操作场景 通过使用客户端缓存元数据块的位置来提高HDFS读取性能。 此功能仅用于读取不经常修改的文件。因为在服务器端由某些其他客户端完成的数据修改,对于高速缓存的客户端将是不可见的,这可能导致从缓存中拿到的元数据是过期的。 本章节适用于MRS 3.x及后续版本。
操作场景 loader-tool工具支持通过作业模板或参数选项的方式,对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例,通过引用作业模板的方式,介绍loader-tool工具的使用方法。 前提条件 已安装并配置Loader客户
ZooKeeper垃圾回收日志。 instanceHealthDetail.log ZooKeeper实例健康状态检查日志 zookeeper-omm-server-<hostname>.out ZooKeeper运行异常退出日志。 zk-err-<zkpid>.log ZooKeeper致命错误日志。
准备开发用户时创建的用户的认证文件“krb5.conf”所在路径。 conf.path HBase配置文件所在目录。 zookeeper.server.principal 为ZooKeeper服务端Principal,格式为“zookeeper/hadoop.系统域名”, 其中系统域
的端口,可在FusionInsight Manager界面,选择“集群 > 服务 > Hive > 配置”,在搜索框中搜索“hive.server2.thrift.port”查看,默认值为“10000”。 执行SQL语句,样例代码中仅执行查询所有表功能,可根据实际情况修改HQL内容。
登录MRS集群,进入ClickHouse实例所在的节点,查看“/var/log/Bigdata/clickhouse”目录下的“clickhouse-server.log”日志文件,发现以下报错: 进入到其他ClickHouse节点也发现了同样的报错日志,由此可知Kafka消息堆积是因为Clic
以omm用户登录主管理节点。 执行以下命令打开application.properties文件。 vi ${BIGDATA_HOME}/om-server_*/OMS/workspace0/conf/pms/application.properties 将PMS进程的内存配置参数“pms
Manager 优化V2作业提交hive sql返回结果、解决委托token提交V2作业失败问题。 MRS大数据组件 MRS Hive解决hive server内存泄露问题:HIVE-10970、HIVE-22275。 补丁兼容关系 无 安装补丁的影响 安装MRS 2.1.0.1补丁期间会重启MRS
主备DBService节点间链路异常。 处理步骤 检查主备DBService服务器间的网络是否正常。 在FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的DBService备服务器地址。 以root用户登录主DBService服务器,用户密码为安装前用户自定义,请咨询系统管理员。
联系MRS集群管理员,增大系统文件句柄数。 执行cat /proc/sys/fs/file-nr查看已使用句柄数和最大句柄数。第一个值为已使用句柄数,第三个值为最大句柄数,计算使用率是否超过设定阈值。 # cat /proc/sys/fs/file-nr 12704 0 640000 是,执行9。 否,执行11。
to local node. check_cmd_result cp phoenix-${PHOENIX_HBASE_VERSION}-server.jar ${HBASE_LIBDIR} check_cmd_result cp phoenix-core-${PHOENIX_HBASE_VERSION}
Admin新的接口,从HMaster获取指标值。每个Region Server在每一个心跳周期(默认是3秒)上报状态给HMaster。所以API通过Region Server在最后一个心跳时上报最新的指标值。 如果需要当前最新的指标值,使用由Region Server提供的JMX接口。 1.3.1(MRS 1
yyyy-mm-dd.txt FlinkServer访问URL日志。 start_thrift_server.out thrift server启动日志。 thrift_server_thriftServer_xxx.log.last cleanup.log 安装卸载实例时的清理日志。
表1 参数描述 参数 描述 默认值 mapreduce.cluster.acls.enabled 是否开启对Job History Server权限控制的开关。 true mapreduce.cluster.administrators 用于指定MapReduce集群管理员列表
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后,客户端长时间无响应。 回答 对于上述出现的问题,ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息,对于一个已经提交到YARN上的MapR
配置HDFS客户端元数据缓存提高读取性能 操作场景 通过使用客户端缓存元数据块的位置来提高HDFS读取性能。 此功能仅用于读取不经常修改的文件。因为在服务器端由某些其他客户端完成的数据修改,对于高速缓存的客户端将是不可见的,这可能导致从缓存中拿到的元数据是过期的。 本章节适用于MRS 3.x及后续版本。