检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
无法访问服务器上保存路径。 上传监控指标文件失败。 处理步骤 联系运维人员查看MRS Manager系统与服务器网络连接是否正常。 是,执行3。 否,执行2。 联系运维人员恢复网络连接,然后检查告警是否恢复。 是,执行完毕。 否,执行3。 单击“系统设置 > 监控指标转储配置”,查看监控
检查该告警中NetworkCardName参数对应的网卡是否为备网卡。 是,备网卡的告警无法自动恢复,请在告警管理页面手动清除该告警,处理完毕。 否,执行5。 备网卡判断方式:查看配置文件/proc/net/bonding/bond0,NetworkCardName参数对应的网卡名称等于其中一个Slave
cer实例对应的业务IP地址。 多个IP地址使用逗号分隔,例如配置为“10.10.10.100,10.10.10.101”。 如果IP是IPV6地址,需转化,例如:192:168:0:0:0:0:158:2 > 192:168::158:2 sslUsed false 是否启用s
cer实例对应的业务IP地址。 多个IP地址使用逗号分隔,例如配置为“10.10.10.100,10.10.10.101”。 如果IP是IPV6地址,需转化,例如:192:168:0:0:0:0:158:2 > 192:168::158:2 sslUsed false 是否启用s
端集群NameService名称。 “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “目的端NameNode IP地址”:填写备集群NameNode业务平面IP地址,支持主节点或备节点。 “目的端路径”:填写备集群保
否,使用新的配置文件替换HBase上层应用中原有的配置文件。 配置HBase上层应用所在主机与备集群的网络连接。 当客户端所在主机不是集群中的节点时,配置客户端网络连接,可避免执行客户端命令时出现错误。 确保客户端所在主机能与客户端安装包文件解压目录下的“hosts”文件中所列出的集群各主机在网络上互通。
获取,例如“hacluster”。 “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “目的端NameNode IP地址”:填写备集群主NameNode业务平面IP地址。 “目的端NameNode RPC端口”:填写目的端集群HDFS配置“dfs
获取,例如“hacluster”。 “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “源端NameNode IP地址”:填写备集群NameNode业务平面IP地址。 “源端NameNode RPC端口”:填写备集群HDFS配置“dfs
端集群NameService名称。 “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “源端NameNode IP地址”:填写备集群NameNode业务平面IP地址,支持主节点或备节点。 “源端路径”:填写备集群保存备
否,使用新的配置文件替换HBase上层应用中原有的配置文件。 配置HBase上层应用所在主机与备集群的网络连接。 当客户端所在主机不是集群中的节点时,配置客户端网络连接,可避免执行客户端命令时出现错误。 确保客户端所在主机能与客户端安装包文件解压目录下的“hosts”文件中所列出的集群各主机在网络上互通。
获取,例如“hacluster”。 “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “目的端主NameNode IP地址”:填写备集群主NameNode业务平面IP地址。 “目的端备NameNode IP地址”:填写
上传监控指标文件失败。 处理步骤 查看服务器连接是否正常。 查看FusionInsight Manager系统与服务器网络连接是否正常。 是,执行3。 否,执行2。 联系网络管理员恢复网络连接,然后检查告警是否恢复。 是,执行完毕。 否,执行3。 选择“系统 > 对接 > 监控数据上传”,查看监
Syslog对接参数 参数区域 参数 示例 参数说明 Syslog协议 服务IP模式 IPV4 设置对接服务器IP地址模式,可选择“IPV4”或者“IPV6”。(仅MRS 3.x及之后版本) 服务IP 192.168.xxx.xxx 设置对接服务器IP地址。 服务端口 514 设置对接端口。
connectionTimeout shuffle操作时连接远程节点的超时时间。单位:秒。 120s spark.network.timeout 所有涉及网络连接操作的超时时间。单位:秒。 360s 回答 由于当前数据量较大,有16T,而分区数只有200,造成每个task任务过重,才会出现上面的问题。
connectionTimeout shuffle操作时连接远程节点的超时时间。单位:秒。 120s spark.network.timeout 所有涉及网络连接操作的超时时间。单位:秒。 360s 回答 由于当前数据量较大,有16T,而分区数只有200,造成每个task任务过重,才会出现上面的问题。
访问MRS集群Manager(2.x及之前版本) 访问MRS集群Manager场景 MRS集群提供Manager对集群进行监控、配置和管理,用户在集群安装后可使用admin用户登录Manager页面。 当前支持以下几种方式访问Manager,请根据实际情况进行选择: 通过弹性IP访问FusionInsight
task拷贝数据并最终放到reduce函数的全部过程。这部分Hadoop提供了大量的调优参数。 图1 Shuffle过程 操作步骤 Map阶段的调优 判断Map使用的内存大小 判断Map分配的内存是否足够,一个简单的办法是查看运行完成的job的Counters中,对应的task是否发生过多次GC,以及GC
x及以前版本)的处理步骤处理该故障。 等待几分钟后检查本告警是否恢复。 是,处理完毕。 否,执行3.a。 检查主备集群RegionServer之间的网络连接。 登录MRS集群详情页面,选择“告警管理”。 在告警列表中单击该告警,从“告警详情”的“定位信息”处获得“HostName”。 登录故障RegionServer节点。
格式:jdbc:mysql://MySQL数据库所在的IP地址:端口号。 端口号默认为3306。 IPV4:jdbc:mysql://10.10.10.11:3306 IPV6:jdbc:mysql://[10:10::10:11]:3306 用户名 连接MySQL数据源的MySQL用户名。 - 密码 连接MySQL数据源的MySQL用户密码。
task复制数据并最终放到reduce函数的全部过程。这部分Hadoop提供了大量的调优参数。 图1 Shuffle过程 操作步骤 Map阶段的调优 判断Map使用的内存大小 判断Map分配的内存是否足够,一个简单的办法是查看运行完成的job的Counters中,对应的task是否发生过多次GC,以及GC