检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看NameNode和DataNode之间的网络情况。 登录处于故障状态DataNode的业务平面IP节点,执行ping NameNode的IP地址命令以检查DataNode和NameNode之间的网络是否异常。 是,执行2.b。 否,执行3.a。 修复网络故障,等待5分钟后,查看该告警是否恢复。
如果当前故障节点为主管理节点,当登录主管理节点时无法登录,则说明可能为主管理节点网络故障,请执行4。 执行ping 故障主机IP地址命令检查故障节点是否可达。 是,执行12。 否,执行4。 联系网络管理员查看是否为网络故障。 是,执行5。 否,执行6。 修复网络故障,查看告警列表中,该告警是否已清除。 是,处理完毕。
Yarn中提供了如表2所示的日志级别。其中日志级别优先级从高到低分别是OFF、FATAL、ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2 日志级别 级别 描述 FATAL FATAL表示当前事件处理存在严重错误信息。 ERROR
进行应用开发时,需要同时准备代码的运行调测的环境,用于验证应用程序运行正常。 如果本地Windows开发环境和集群业务平面网络互通,可下载集群客户端到本地,获取相关调测程序所需的集群配置文件及配置网络连通后,然后直接在Windows中进行程序调测。 下载并解压客户端软件包。 MRS 3.3.0之前版本,登录FusionInsight
transfer.threads”的值解决。 如果没有足够的硬盘空间或者CPU,试着增加新的数据节点或确保资源是可用的(磁盘空间或CPU)。 如果网络问题,确保网络是可用的。 父主题: 使用HDFS
执行以下命令检查另一个FlinkServer实例的服务器是否可达。 ping 另一个FlinkServer实例IP 是,执行8。 否,执行6。 联系网络管理员处理网络故障。 查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行8。 检查异常FlinkServer实例所在节点日志中是否有异常提示。
时,每一条输出结果需要按key哈希,并且分发到对应的Reducer上去,这个过程就是shuffle。由于shuffle涉及到了磁盘的读写和网络的传输,因此shuffle性能的高低直接影响到了整个程序的运行效率。 下图清晰地描述了MapReduce算法的整个流程。 图3 算法流程
在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 如果当前节点与MRS集群所在网络平面不互通,可以通过绑定EIP的方式访问MRS集群,具体操作请参考配置Windows通过EIP访问集群Kafka。 W
在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 如果当前节点与MRS集群所在网络平面不互通,可以通过绑定EIP的方式访问MRS集群,具体操作请参考配置Windows通过EIP访问普通模式集群Kafka。
Source配置的IP地址命令查看对端主机是否可以ping通,用户密码为安装前用户自定义,请咨询系统管理员。 是,执行11。 否,执行9。 联系网络管理员恢复网络。 等待一段时间后,在告警列表中,查看告警是否清除。 是,处理完毕。 否,执行11。 收集故障信息。 在FusionInsight Manager界面,选择“运维
ht Manager失败,AD域用户执行业务失败。 可能原因 对接第三方AD服务配置项错误 FusionInsight与第三方AD服务之间网络连接故障 AD服务器故障 AD服务故障 处理步骤 检查第三方AD配置。 在FusionInsight Manager页面,选择“系统 > 权限
否,执行11。 检查网络状态。 登录管理节点,ping丢失的NodeManager节点的IP地址,检查网络是否断连或繁忙。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 是,执行12。 否,执行13。 修复网络故障,然后查看该告警是否恢复。
JDK,请确保Eclipse中的JDK配置为Oracle JDK。 不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。 网络 确保客户端与Impala服务主机在网络上互通。 父主题: 准备Impala应用开发环境
进行应用开发时,需要同时准备代码的运行调测的环境,用于验证应用程序运行正常。 如果本地Windows开发环境和集群业务平面网络互通,可下载集群客户端到本地,获取相关调测程序所需的集群配置文件及配置网络连通后,然后直接在Windows中进行程序调测。 下载并解压客户端软件包。 MRS 3.3.0之前版本,登录FusionInsight
上传监控指标文件失败。 处理步骤 查看服务器连接是否正常。 查看FusionInsight Manager系统与服务器网络连接是否正常。 是,执行3。 否,执行2。 联系网络管理员恢复网络连接,然后检查告警是否恢复。 是,执行完毕。 否,执行3。 选择“系统 > 对接 > 监控数据上传”,查看
群信息页面。 单击“告警管理”,在告警列表查看告警信息。 告警列表每页默认显示最近的十条告警。 支持在告警“级别”筛选相同级别的全部告警。结果包含已清除和未清除的告警。 单击“全部导出”,在弹框内选择“保存类型”,单击“确定”可导出告警。 表1 告警信息说明 参数 参数说明 告警ID
DBService服务所在主机的网络连接是否正常。(获取ZooKeeper、HDFS、Yarn和DBService服务所在主机的IP地址的方式和获取HiveServer IP地址的方式相同。) 是,执行25。 否,执行23。 联系网络管理员恢复网络。 在告警列表中,查看“Hive服务不可用”告警是否清除。
电力、网络隔离的物理区域。 说明: 当您为IES购买MRS时,请选择可用区为“边缘可用区”。 可用区1 虚拟私有云 MRS集群节点所归属的虚拟私有云网络,如果没有可用的虚拟私有云,请单击“查看虚拟私有云”进入网络控制台,创建一个新的虚拟私有云。 - 子网 虚拟私有云网络内的子网
Core节点出现df显示的容量和du显示的容量不一致 如何解除网络ACL的关联子网 修改节点主机名后导致MRS集群状态异常 进程被终止如何定位原因 MRS配置跨集群互信失败 MRS集群节点使用pip3安装Python时提示网络不可达 开源confluent-kafka-go连接MRS安全集群
Flink性能调优 优化Flink内存GC参数 配置Flink任务并行度 配置Flink任务进程参数 优化Flink Netty网络通信参数 Flink作业RocksDB状态后端调优 配置Flink作业状态后端冷热数据分离存储 父主题: 使用Flink