检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
servers Kafka的Broker实例业务IP和端口。 192.168.12.25:21005 specific_jars “客户端安装目录/Flink/flink/lib/flink-connector-kafka-*.jar”包路径,建议写全路径。 说明: 当作业需要以
WebUI操作SparkSQL,请先重启Hue服务。 MRS各版本集群支持添加的组件可参考MRS组件版本一览表。 在“拓扑调整”页面勾选服务部署的节点,部署方案可参考表2。 确认操作影响后,单击“确认”。服务添加完成后,在“组件管理”页面可以查看所添加的服务。 如果需要删除服务,可以在指定服务所在行,单击“删除”操作。
h”属性查看产生的core文件的存放路径。 以omm用户登录产生告警的主机,执行gdb --version命令查看该主机是否安装有gdb工具: 否,请先安装gdb工具,再执行3。 是,执行3。 使用gdb工具查看core文件的详细堆栈信息: 进入“DumpedFilePath”目录,找到core文件。
Shell访问服务端,对HBase的表进行读写操作。本文中的HBase客户端特指从装有HBase服务的MRS Manager上下载的HBase client安装包,里面包含通过Java API访问HBase的样例代码。 父主题: HBase应用开发概述
Manager页面,选择“运维 > 告警 > 告警”,查看当前告警“定位信息”中的角色名以及确认主机名所在的IP地址。 以客户端安装用户,登录客户端的节点,执行如下命令: cd {客户端安装路径} source bigdata_env 集群已启用Kerberos认证(安全模式): kinit 组件业务用户
rget下生成含有“flink-dws-sink-example-1.0.0-SNAPSHOT”字段的Jar包。 在Linux上进入客户端安装目录,如“/opt/client/Flink/flink/conf”作为作为运行目录,将1中生成的“target”目录下包名中含有“fli
试使用combineInputFormat来减少任务读取的文件数量。 增大hadoop命令执行时的内存,该内存在客户端中设置,修改“客户端安装目录/HDFS/component_env”文件中“CLIENT_GC_OPTS”的“-Xmx”参数,将该参数的默认值改大,比如改为512m。然后执行source
/random”的读操作将被阻塞,直到熵池收集到足够的环境噪声数据,导致提交任务慢或者失败。 处理步骤 在集群外客户端所在节点执行以下命令安装rng-tools工具: yum install rng-tools 执行以下命令启动rng-tools: systemctl start
servers Kafka的Broker实例业务IP和端口。 192.168.12.25:21005 specific_jars “客户端安装目录/Flink/flink/lib/flink-connector-kafka-*.jar”包路径,建议写全路径。 说明: 当作业需要以
Manager页面,选择“运维 > 告警 > 告警”,查看当前告警“定位信息”中的角色名以及确认主机名所在的IP地址。 以客户端安装用户,登录客户端的节点,执行如下命令: cd {客户端安装路径} source bigdata_env 集群已启用Kerberos认证(安全模式): kinit 组件业务用户
HiveServer 一个集群内可部署多个HiveServer,负荷分担。对外提供Hive数据库服务,将用户提交的HQL语句进行编译,解析成对应的Yarn任务或者HDFS操作,从而完成数据的提取、转换、分析。 MetaStore 一个集群内可部署多个MetaStore,负荷分担。
que格式的数据,而Hive中默认是ORC的。 处理步骤 登录Spark客户端节点,执行如下命令,进入spark-sql: cd {客户端安装目录} source bigdata_env source Spark2x/component_env kinit 组件业务用户(普通模式无需执行kinit)
--enable-cleartext-plugin -u数据库登录用户 -p数据库登录用户密码 -P数据库连接端口 -hDoris FE实例IP地址 在安装了MySQL客户端的节点执行以下命令启用mysql_clear_password插件,再重新连接Doris即可。 export LIBMY
否,执行3。 图1 HBase的WebUI 负载均衡 以root用户登录HBase客户端所在节点,用户密码为安装前用户自定义,请咨询系统管理员。进入客户端安装目录,设置环境变量: cd 客户端安装目录 source bigdata_env 如果集群采用安全版本,要进行安全认证。执行kinit
nfo会执行kill -3将jstack信息打印到.out日志文件里,从而导致.out日志文件过大。 处理步骤 在每个HDFS实例的节点上部署定期清理.out日志文件的定时任务。后台登录HDFS的实例节点,在crontab -e中添加每天0点清理.out日志的定时任务。 crontab
并且HDFS状态为“CORRUPT” 解决办法 请确认该损坏的块是否可以删除。 是,执行2。 否,请联系技术支持。 执行以下命令进入HDFS客户端。 cd HDFS客户端安装目录 source bigdata_env kinit 业务用户 执行以下命令删除之前记录的损坏的块。 hdfs dfs -rm -skipTrash
释放。 解决办法 该解决办法以20051端口被占用为例,20050端口被占用的解决办法与该办法类似。 以root用户登录DBService安装报错的节点主机,执行命令:netstat -nap | grep 20051查看占用20051端口的进程。 使用kill命令强制终止使用20051端口的进程。
ster地址。 HMaster通过ZooKeeper随时感知各个HRegionServer的健康状况,以便进行控制管理。 HBase也可以部署多个HMaster,类似HDFS NameNode,当HMaster主节点出现故障时,HMaster备用节点会通过ZooKeeper获取主
fo会执行kill -3将jstack信息打印到.out日志文件里,从而导致.out日志文件过大。 处理步骤 在每个HBase实例的节点上部署定期清理.out日志文件的定时任务。后台登录HBase的实例节点,在crontab -e中添加每天0点清理.out日志的定时任务。 crontab
可根据关键字字段进行筛选。 表1 Audit信息 页签 内容描述 Access 当前MRS不支持在线查看组件资源的审计日志信息,可登录组件安装节点,进入“/var/log/Bigdata/audit”目录下查看各组件的审计日志。 Admin Ranger上操作审计信息,例如安全访