检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1/sbin/status-oms.sh 以omm用户执行jmap -heap PID检查knox和executor进程内存使用情况,如果多次执行查看到老生代内存使用率为99.9%说明有内存溢出。 查询executor进程PID:netstat -anp | grep 8181 | grep
告警 > 告警”,查看该TokenServer节点是否上报“TokenServer堆内存使用率超过阈值”告警。 是,执行7。 否,执行9。 参考“ALM-45737 TokenServer堆内存使用率超过阈值”的处理步骤处理该故障。 等待10分钟,查看该告警是否自动消除。 是,处理完毕。
Flink SQL逻辑开发规则 维表lookup join场景维度表个数不超过五个 Hudi维度表都在TM heap中,当维表过多时heap中保存的维表数据过多,TM会不断GC,导致作业性能下降。 【示例】lookup join维表数5个: CREATE TABLE table1(id
zookeeper.sasl.clientconfig:指定使用jaas.conf文件中的对应配置访问FusionInsight ZooKeeper; zookeeper.server.principal:指定ZooKeeper服务端使用principal; zookeeper.sasl.
导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ IDEA,在“Quick Start”页面选择“Open or Import”。 另外,针对已使用过的IDEA工具,可以从主界面选择“File > Import project...”导入样例工程。 图6 Open or Import(Quick
zookeeper.sasl.clientconfig:指定使用jaas.conf文件中的对应配置访问FusionInsight ZooKeeper; zookeeper.server.principal:指定ZooKeeper服务端使用principal; zookeeper.sasl.
告警 > 告警”,该TokenServer实例是否上报“TokenServer堆内存使用率超过阈值”告警。 是,执行7。 否,执行9。 按照“ALM-45737 TokenServer堆内存使用率超过阈值”的处理步骤处理该故障。 等待10分钟,查看该告警是否自动消除。 是,处理完毕。
映射关系。 操作步骤 修改WordCountTopology.java类,使用remoteSubmit方式提交应用程序。并替换用户keytab文件名称,用户principal名称,和Jar文件地址。 使用remoteSubmit方式提交应用程序 public static void
导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ IDEA,在“Quick Start”页面选择“Open or Import”。 另外,针对已使用过的IDEA工具,可以从主界面选择“File > Import project...”导入样例工程。 图6 Open or Import(Quick
Manager的告警列表中,查看1中的告警实例是否有“RegionSever handler 使用率超过阈值”告警产生。 是,执行9。 否,执行11。 参考ALM-19021 RegionSever handler 使用率超过阈值的处理步骤处理该故障。 等待几分钟后,在告警列表中查看该告警是否清除。
执行以下操作登录HDFS客户端。 登录HDFS客户端安装节点。 集群已启用Kerberos认证(安全模式):使用root用户登录。 集群未启用Kerberos认证(普通模式):使用omm用户登录,并确保omm用户具有客户端执行权限。 (此处为集群的安全/普通模式,并非HDFS安全/普通模式。)
软件和依赖的软件: rpm -e krb5-workstation-1.10.3-33.el6.x86_64 在Kerberos服务节点上使用kill -9命令结束Kerbeors的进程,等待其重启即可。 父主题: 登录集群Manager常见异常问题
登录MapReduce WebUI查看应用程序运行情况。 登录Yarn WebUI查看应用程序运行情况。 如果Windows运行环境中使用IBM JDK,不支持在Windows环境中直接运行应用程序。 在MapReduce任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。
查看Spark应用调测结果 操作场景 Spark应用程序运行完成后,您可以查看运行结果数据,也可以通过Spark WebUI查看应用程序运行情况。 操作步骤 查看Spark应用运行结果数据。 结果数据存储路径和格式已经与Spark应用程序指定,您可以通过指定文件中获取到运行结果数据。
由于在Flink配置文件中“high-availability.zookeeper.client.acl”默认为“creator”,即谁创建谁有权限,由于原有用户已经使用ZooKeeper上的/flink_base/flink目录,导致新创建的用户访问不了ZooKeeper上的/flink_base/flink目录。
HDFS应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解HDFS的基本概念。 HDFS应用开发简介 准备开发和运行环境 使用IntelliJ IDEA工具,请根据指导完成开发环境配置。 HDFS的运行环境即HDFS客户端,请根据指导完成客户端的安装和配置。 准备HDFS应用开发和运行环境
由于在Flink配置文件中“high-availability.zookeeper.client.acl”默认为“creator”,即谁创建谁有权限,由于原有用户已经使用ZooKeeper上的/flink_base/flink目录,导致新创建的用户访问不了ZooKeeper上的/flink_base/flink目录。
HDFS应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解HDFS的基本概念。 常用概念 准备开发和运行环境 使用IntelliJ IDEA工具,请根据指导完成开发环境配置。 HDFS的运行环境即HDFS客户端,请根据指导完成客户端的安装和配置。 准备HDFS应用开发和运行环境
由于在Flink配置文件中“high-availability.zookeeper.client.acl”默认为“creator”,即谁创建谁有权限,由于原有用户已经使用ZooKeeper上的/flink_base/flink目录,导致新创建的用户访问不了ZooKeeper上的/flink_base/flink目录。
、项目等分级管理方式实现企业云上的人员、资源、权限、财务的管理。 MRS支持已开通企业项目服务的用户在创建集群时为集群配置对应的项目,然后使用企业项目管理对MRS上的资源进行分组管理: 支持用户为多个资源进行分组管理。 支持用户查看企业项目下的资源信息、消费明细。 支持用户对企业项目级别的访问权限控制。