检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataNode概率性出现CPU占用接近100%导致节点丢失 问题背景与现象 DataNode概率性出现CPU占用接近100%,导致节点丢失(ssh连得很慢或者连不上)。 图1 DataNode出现CPU占用接近100% 原因分析 DataNode有许多写失败的日志。 图2 DataNode写失败的日志
及对应IP地址可在FusionInsight Manager主机管理界面查看。 执行ping 备Manager心跳IP地址命令检查备Manager服务器是否可达。 是,执行6。 否,执行4。 联系网络管理员查看是否为网络故障。 是,执行5。 否,执行6。 修复网络故障,查看告警列表中,该告警是否已清除。
> 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 将krb5.conf文件中的IP地址修改为对应IP的主机名称。 配置集群安全组规则。 在集群“概览”界面,选择“添加安全组规则
查看与配置MRS告警事件 查看MRS集群事件 查看MRS集群告警 配置MRS集群告警阈值 配置MRS集群告警屏蔽状态 配置MRS集群对接SNMP网管平台上报告警 配置MRS集群对接Syslog服务器上报告警 配置定时备份告警与审计信息 开启MRS集群维护模式停止上报告警 配置MRS集群告警事件消息通知
$BIGDATA_HOME/om-server/OMS/workspace/bin/omm_s_fm_ctl.sh restart 使用PuTTY工具,以omm用户登录备OMS节点,执行2~3。 父主题: 查看与配置MRS告警事件
将Oracle数据库中的数据导入HDFS时各连接器的区别 问题 使用Loader将Oracle数据库中的数据导入到HDFS中时,可选择的连接器有generic-jdbc-connector、oracle-connector、oracle-partition-connector三种,要怎么选?有什么区别? 答案
如何处理无法直接通过URL访问Flink Web 问题 无法通过“http://JobManager IP:JobManager的端口”访问Web页面。 回答 由于浏览器所在的计算机IP地址未加到Web访问白名单导致。用户可以通过修改客户端的配置文件“conf/flink-conf.yaml”来解决问题。 确认配置项“jobmanager
com:19998 启动Presto客户端,具体请参见使用Presto客户端执行查询语句的2~8。 在Presto客户端中执行查询语句select * from hive.default.u_user; 查询alluxio上创建表。 图1 Presto查询alluxio上创建的表 父主题:
如何查看Flume日志 Flume日志保存在/var/log/Bigdata/flume/flume/flumeServer.log 里。绝大多数数据传输异常、数据传输不成功,在日志里都可以看到提示。可以直接输入以下命令查看: tailf /var/log/Bigdata/flu
> 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 图1 修改hosts文件中的IP信息 配置集群安全组规则。 在集群“概览”界面,选择“添加安全组规则 > 管理安全组规则”。
B对应500000块数,用户可根据需要调整内存值。 查看HDFS容量状态 NameNode信息 MRS 3.x之前版本:登录MRS控制台,选择“组件管理 > HDFS > NameNode(主)”,单击“Overview”,查看“Summary”显示的当前HDFS文件对象、文件数量、目录数量和Block数量信息。
登录FusionInsight Manager,然后选择“集群 > 服务 > Kafka”。 单击“实例”,查看Kafka Broker角色实例的IP地址。 记录Kafka角色实例其中任意一个的IP地址即可。 根据业务情况,准备好客户端,参考使用MRS客户端章节,登录安装客户端的节点。 执行以下
user是无效用户,表明内部校验失败。 查看提交的拓扑运行Jar,发现包含keytab文件。 查看user.keytab文件,发现principal为zmk_kafka。 发现认证用户和user.keytab文件中principal不对应。 查看日志发现异常信息Delete the tmp
表1 结构图说明 名称 描述 Console 提供对Oozie流程的查看和监控功能。 Client 通过接口控制Workflow流程:可以执行提交流程,启动流程,运行流程,终止流程,恢复流程等操作。 SDK 软件开发工具包SDK(SoftwareDevelopmentKit)是被软件
“SFTP”:表示备份文件通过SFTP协议保存在服务器中。 选择此参数值,还需要配置以下参数: “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写备份数据的服务器IP地址。 “端口号”:填写SFTP协议连接备份服务器使用的端口号,默认值为“22”。
选择Windows开发环境下,安装Eclipse,安装JDK。 JDK使用1.8版本,Eclipse使用4.3.2及以上版本。 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保Eclipse中的JDK配置为Oracle JDK。 不同的Eclipse不
在本地Windows环境中查看Spark程序调试结果 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/D:/mavenlocal/org/apache/l
“SFTP”:表示备份文件通过SFTP协议保存在服务器中。 选择此参数值,还需要配置以下参数: “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写备份数据的服务器IP地址。 “端口号”:填写SFTP协议连接备份服务器使用的端口号,默认值为“22”。
查看Flume客户端日志 安装Flume客户端。 进入Flume客户端日志目录,默认为“/var/log/Bigdata”。 执行如下命令查看日志文件列表。 ls -lR flume-client-* 日志文件示例如下: flume-client-1/flume: total 7672
查看Flume客户端日志 安装Flume客户端。 进入Flume客户端日志目录,默认为“/var/log/Bigdata”。 执行如下命令查看日志文件列表。 ls -lR flume-client-* 日志文件示例如下: flume-client-1/flume: total 7672