检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse开启mysql_port配置 本章节指导用户使用MySQL客户端连接ClickHouse。 操作步骤 登录FusionInsight Manager,选择“集群 > 服务 > ClickHouse >配置 > 全部配置”。搜索参数项“clickhouse-co
Knox进程占用内存高 用户问题 knox进程占用内存高。 问题现象 主Master节点内存使用率高,用top -c命令查看到占用内存较高的进程中有knox进程,且此进程占用内存超过4 GB。 原因分析 knox进程没有单独配置内存,进程会自动根据系统内存大小按照比例划分可用内存,导致knox占用内存大。
is saved as: /tmp/hs_err_pid*.log”,查看/tmp/hs_err_pid*.log发现日志存在“#Internal Error (vtableStubs_aarch64.cpp:213), pid=9456, tid=0x0000ffff97fdd200”和“#guarantee(__
部分Receiver启动以后,系统已经没有资源去运行计算任务,导致第一个任务一直在等待,后续任务一直在排队。从现象上看,就是如问题中的图1中所示,会有两个任务一直在等待。 因此,当Web出现两个任务一直在等待的情况,首先检查Spark的核数是否大于Receiver的个数。 Receiver在Spark
is saved as: /tmp/hs_err_pid*.log”,查看/tmp/hs_err_pid*.log发现日志存在“#Internal Error (vtableStubs_aarch64.cpp:213), pid=9456, tid=0x0000ffff97fdd200”和“#guarantee(__
配置进程参数 操作场景 Spark on YARN模式下,有Driver、ApplicationMaster、Executor三种进程。在任务调度和运行的过程中,Driver和Executor承担了很大的责任,而ApplicationMaster主要负责container的启停。
通过Sqoop从Hive导出数据到MySQL 8.0时报数据格式错误 本章节仅适用于MRS 3.1.0版本集群。 用户问题 MRS 3.1.0集群Sqoop从Hive导出数据到MySQL 8.0时报数据格式错误。 问题现象 原因分析 通过日志判断得知是格式异常。 处理步骤 确认分
通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 用户问题 通过Sqoop读取MySQL数据,然后直接写到OBS,指定parquet格式时写入报错,不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3,用Hcatalog方式写入。
部分Receiver启动以后,系统已经没有资源去运行计算任务,导致第一个任务一直在等待,后续任务一直在排队。从现象上看,就是如问题中的图1中所示,会有两个任务一直在等待。 因此,当Web出现两个任务一直在等待的情况,首先检查Spark的核数是否大于Receiver的个数。 Receiver在Spark
'password') MySQL数据库引擎参数说明: host:port:RDS服务MySQL数据库实例IP地址和端口。 database:RDS服务MySQL数据库名。 user:RDS服务MySQL数据库用户名。 password:RDS服务MySQL数据库用户密码,命令中如
'password') MySQL数据库引擎参数说明: host:port :RDS服务MySQL数据库实例IP地址和端口。 database :RDS服务MySQL数据库名。 user :RDS服务MySQL数据库用户名。 password:RDS服务MySQL数据库用户密码,命令
使用MySQL客户端连接Doris Doris支持MySQL协议,所以大部分支持MySQL协议的客户端都可以访问Doris,包括命令行或者IDE,例如MariaDB、DBeaver、Navicat for MySQL等。 本操作以安装MySQL 8.0.22客户端连接Doris为例进行演示。
log Broker进程的server运行日志。 controller.log Broker进程的controller运行日志。 kafka-request.log Broker进程的request运行日志。 log-cleaner.log Broker进程的cleaner运行日志。
Executor进程Crash导致Stage重试 问题 在执行大数据量的Spark任务(如100T的TPCDS测试套)过程中,有时会出现Executor丢失从而导致Stage重试的现象。查看Executor的日志,出现“Executor 532 is lost rpc with driver
主机D状态和Z状态进程数超过阈值 告警解释 系统每30秒周期性检测主机中omm用户D状态和Z状态进程数,并把实际进程数和阈值相比较。主机D状态和Z状态进程数默认提供一个阈值范围。当检测到进程数超出阈值范围时产生该告警。 平滑次数为1,主机中omm用户D状态和Z状态进程总数小于或等于阈
选择“定制 > CPU和内存”,勾选“HiveServer内存使用率统计”,单击“确定”,查看HiveServer进程使用的堆内存是否已达到HiveServer进程设定的最大堆内存的阈值(默认95%)。 是,执行4。 否,执行7。 图1 勾选HiveServer内存使用率统计 在FusionInsight
已准备源集群,例如,MySQL服务端集群。 Doris集群与MySQL服务端集群网络互通。 已安装MySQL客户端,相关操作可参考使用MySQL客户端连接Doris。 通过JDBC Catalog查询MySQL/Doris数据 进入MySQL官网(https://www.mysql.com/),选择“DOWNLOADS
-ef|grep =acs (查找acs进程PID) kill -9 PID (PID替换为实际的ID,结束acs进程) 等待几分钟后执行命令ps -ef|grep =acs查询进程是否已经自动启动。 替换executor用户的keytab文件。 登录MRS Manager页面,选择“系统
ALM-12007 进程故障 告警解释 进程健康检查模块按5秒周期检测进程状态。当进程健康检查模块连续三次检测到进程连接状态为故障时,产生该告警。 当进程连接正常时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12007 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。
的history命令记录功能,避免信息泄露。: sqoop import \ --connect jdbc:mysql://MySQL服务器地址:端口号/database1 \ --username admin \ --password xxx \ --table table1 \