检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Yarn客户端命令查询历史作业报错 问题现象 执行Yarn客户端命令查询历史作业报错,进程被终止。具体错误如下: 原因分析 客户端分配内存不足,导致提交命令报错。 处理步骤 以root用户登录HDFS客户端安装节点。 执行以下命令编辑文件。 vim /opt/client/HDFS/component_env
-ef|grep =acs (查找acs进程PID) kill -9 PID (PID替换为实际的ID,结束acs进程) 等待几分钟后执行命令ps -ef|grep =acs查询进程是否已经自动启动。 替换executor用户的keytab文件。 登录MRS Manager页面,选择“系统
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务失败:主机PID使用率过高时,无法分配PID给新的业务进程,可能会导致作业运行失败。 可能原因 节点同时运行的进程过多,需要扩展pid_max值。 处理步骤 扩展pid_max值。 打开FusionInsight Manag
to日志进行查找。 根据报错信息在到对应节点去查看presto worker实例的进程日志。 日志显示: java.lang.OutOfMemoryError: Java heap space 根据报错预判发生了oom导致查询报错。 处理步骤 在Manager页面查找work的JVM参数(xmx)。
Connect框架的实时数据集成服务。 CDL服务能够从各种OLTP数据库中捕获数据库的Data Change事件,并推送到kafka,再由sink connector推送到大数据生态系统中。 CDL目前支持的数据源有MySQL、PostgreSQL、Hudi、Kafka、ThirdParty-Ka
Flume > Flume管理”,即可查看当前Flume客户端列表及进程状态。 图1 Flume管理 选择“实例ID”,进入客户端监控列表,在“实时”区域框中,可查看客户端的各监控指标。 选择“历史”进入历史监控数据查询界面。筛选时间段,单击“查看”可显示该时间段内的监控数据。 父主题:
Core性能 操作场景 Spark系统在运行含shuffle过程的应用时,Executor进程除了运行task,还要负责写shuffle数据以及给其他Executor提供shuffle数据。当Executor进程任务过重,导致触发GC(Garbage Collection)而不能为其他Exe
Core性能 操作场景 Spark系统在运行含shuffle过程的应用时,Executor进程除了运行task,还要负责写shuffle数据以及给其他Executor提供shuffle数据。当Executor进程任务过重,导致触发GC(Garbage Collection)而不能为其他Exe
ALM-25005 Nscd服务异常 告警解释 系统每60秒周期性检测nscd服务的状态,如果连续4次(3分钟)查询不到nscd进程或者无法获取LdapServer中的用户时,产生该告警。 当进程恢复且可以获取LdapServer中的用户时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除
ALM-14036 NameNode进入安全模式 告警解释 NameNode每30秒周期性检查进程状态,NameNode进入安全模式时触发该告警。 进程状态正常后告警清除。 该告警仅适用于MRS 3.3.1及之后版本。 告警属性 告警ID 告警级别 是否可自动清除 14036 重要
10亿级数据量场景的解决方案有哪些? 问: 10亿级数据量场景的解决方案有哪些? 答: 有数据更新、联机事务处理OLTP、复杂分析的场景,建议使用云数据库 GaussDB(for MySQL)。 MRS的Impala + Kudu也能满足该场景,Impala + Kudu可以在join操作时,把当前所有的join表都加载到内存中来实现。
/usr/sbin/sssd 是,执行3。 否,执行4。 查看2中查询的sssd进程是否有三个子进程。 是,执行5。 否,执行4。 以root用户执行service sssd restart命令重启sssd服务,执行ps -ef | grep sssd命令,查看sssd进程是否正常。 正常状态为:存在/u
Presto应用开发简介 Presto简介 Presto是一种开源、分布式SQL查询引擎,用于对千兆字节至PB级大小的数据源进行交互式分析查询。 Presto主要特点如下: 多数据源:Presto可以支持Mysql,Hive,JMX等多种Connector。 支持SQL:Presto完全支持ANSI
置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警 > ALM-45740 TokenServer进程垃圾回收(GC)时间超过阈值”,检查该告警的“定位信息”,查看告警上报的实例主机名。
Service提升性能 操作场景 Spark系统在运行含shuffle过程的应用时,Executor进程除了运行task,还要负责写shuffle数据,给其他Executor提供shuffle数据。当Executor进程任务过重,导致GC而不能为其他Executor提供shuffle数据时,会影响任务运行。
个ZooKeeper集群的客户端,用来监控NameNode的状态信息。ZKFC进程仅在部署了NameNode的节点中存在。HDFS NameNode的Active和Standby节点均部署有ZKFC进程。 HDFS NameNode的ZKFC连接到ZooKeeper,把主机名等信
= 'jdbc:mysql://MySQL服务器IP:MySQL服务器端口/mysql', 'table-name' = 'customer_t1', 'username' = 'MySQL数据库用户名', 'password' = 'MySQL数据库用户名的密码' );
导入OBS数据至Doris表中 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 若集群已启用Kerberos认证(安全模式),需先执行以下命令再连接Doris数据库: export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 mysql -u数据库登录用户 -p -PFE查询连接端口
当前IoTDBServer进程所需的直接内存。 建议将参数“GC_OPTS”中“-XX:MaxDirectMemorySize”的值设置为“IoTDBServer进程使用的直接内存大小”的两倍(可根据实际业务场景进行修改)。 IoTDBServer进程使用的直接内存大小可以通过“定制
告警解释 系统每60秒周期性检测ConfigNode进程直接内存使用状态,当连续5次检测到ConfigNode实例直接内存使用率超出阈值时,产生该告警,即当前ConfigNode设置的直接内存无法满足当前ConfigNode进程所需的直接内存。当ConfigNode直接内存使用率小于或等于阈值时,告警清除。