检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
后台登录HBase的实例节点,在crontab -e中添加每天0点清理.out日志的定时任务。
$CONTROLLER_HOME/inst/restartAllNoes.sh 登录集群后台节点查看进程: ps -ef |grep NodeAgent 如果包含参数“-Dfastjson.parser.safeMode=true”,说明漏洞问题已经规避,如下图所示: 父主题: MRS
background.threads 10 Broker后台任务处理的线程数目。数据量较大的情况下,可适当调大此参数,以提升Broker处理能力。 num.replica.fetchers 1 副本向Leader请求同步数据的线程数,增大这个数值会增加副本的I/O并发度。
10000 yarn.resourcemanager.webapp.pagination.enable 是否开启Yarn WebUI的任务列表后台分页功能。
background.threads 10 Broker后台任务处理的线程数目。数据量较大的情况下,可适当调大此参数,以提升Broker处理能力。 num.replica.fetchers 1 副本向Leader请求同步数据的线程数,增大这个数值会增加副本的I/O并发度。
MySQL表字段 使用CDM将MySQL中的数据导入到MRS Hive分区表,流程如下: 步骤1:在MRS Hive上创建Hive分区表 步骤2:创建CDM集群并绑定EIP 步骤3:创建MySQL连接 步骤4:创建Hive连接 步骤5:创建迁移作业 方案架构 CDM围绕大数据迁移上云和智能数据湖解决方案
2020-09-04 解决的问题 MRS Manager 解决自定义集群缩容Task节点失败问题 MRS大数据组件 解决Hive和Spark路径下adapter-hadoop-wrapper-file-system包版本错误问题 解决HBase服务Manager上保存多命名空间,后台不生效问题
收集客户端后台“hdfs://hacluster/user/hive/warehouse”目录下内容的相关信息。 请联系运维人员,并发送已收集的故障信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
如果还是不能恢复,需要查看后台JobhistoryServer日志。
更新配置文件需要按照此步骤操作,后台修改配置文件是不规范操作,同步配置时后台做的修改将会被覆盖。 单击“保存”,单击“确定”。 单击“完成”完成操作。 父主题: 配置Flume非加密传输数据采集任务
进入Hue页面,输入筛选条件参数,UI将参数发送到后台,Hue通过调用MapReduce(MR1/MR2-YARN)提供的REST接口,获取任务运行的状态,起始结束时间、运行日志等信息。
1.9.3.1 修复问题列表: MRS Manager 解决自定义集群缩容Task节点失败问题 MRS大数据组件 解决Hive和Spark路径下adapter-hadoop-wrapper-file-system包版本错误问题 解决HBase服务Manager上保存多命名空间,后台不生效问题
收集客户端后台“/.Trash/Current/”目录下内容的相关信息。 请联系运维人员,并发送已收集的故障信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
更新配置文件需要按照此步骤操作,后台修改配置文件是不规范操作,同步配置时后台做的修改将会被覆盖。 单击“保存”,单击“确定”。 单击“完成”完成操作。 父主题: 配置Flume非加密传输数据采集任务
数据清理在后台异步发生。此功能仅适用于MergeTree表引擎系列; 当前能力只支持本地表和复制表的轻量化删除功能,分布式表暂不支持。 数据删除功能的执行性能还依赖merge和mutation(alter table update/delete)任务的多少。
登录Core节点后台,参考如何使用自动化工具配置华为云镜像源(x86_64和ARM)?配置yum源。 使用uname -r或rpm -qa |grep kernel命令,查询并记录当前节点内核版本。
收集客户端后台“/.Trash/Current/”目录下内容的相关信息。 请联系运维人员,并发送已收集的故障信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
收集一键转储系统表日志 使用root用户后台登录任一ClickHouseServer节点,进入到sbin目录下。
后台节点切为omm用户执行jps命令即可查看worker的pid。 执行jstack pid,即可查看jstack信息。 父主题: 使用Storm
使用omm用户登录告警的FE节点后台,执行"top"查看进程使用内存情况,找到占用较高的内存的进程,检查是否是本服务的进程,是否合理。 是,执行3 否,对此进程进行隔离、关闭或调整内存大小,并观察机器内存是否被释放出。 重启受影响的服务或实例,观察界面告警是否清除。