检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在OBS控制台并行文件系统列表中,单击已新建的文件系统名称进入详情页面。 在左侧导航栏选择“文件 > 新建文件夹”新建“testFlumeOutput”文件夹。 使用root用户登录安装Flume客户端的节点。 新建“/opt/flumeInput”目录,并在该目录下新建一个内容自定义的txt文件。 编
NodeManager进程的垃圾回收时间过长,可能影响该NodeManager进程正常提供服务。 可能原因 该NodeManager节点实例堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight Manager首页,选择“运维 >
号4种类型字符。 至少8位,最多64位。 出于安全考虑,建议用户定期更换自定义密码(例如三个月更换一次),并重新生成各项证书和信任列表。 使用omm用户在Flume实例产生告警的节点,重复执行5~6,等待1小时,观察此告警是否被清除。 是,执行8。 否,执行9。 查看系统在定时检查时是否会再次产生此告警。
ClientCnxnSocketNetty 如果不包含,将上述内容添加到配置项末尾处。 查看调测结果 通过MapReduce服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager,选择“集群 >服务 > Mapreduce > JobHistory
将Java样例工程导入到IDEA中。 打开IntelliJ IDEA。在“Quick Start”页面选择“Import Project”。 或者,针对已使用过的IDEA工具,您可以从IDEA主界面直接添加。选择“File > Import project...”导入工程。 图12 Import
快速开发Hive HCatalog应用 Hive是一个开源的,建立在Hadoop上的数据仓库框架,提供类似SQL的HQL语言操作结构化数据,其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下:
事务样例工程无需执行此步骤。 图2 复制配置文件绝对路径 使用clickhouse-example.properties路径替换Demo.java中getProperties()方法中proPath的路径。 图3 Demo.java路径替换 使用clickhouse-example.prop
parseInt(tokens[2])); return person; } }); //使用filter函数筛选出女性网民上网时间数据信息 JavaRDD<Tuple3<String,String,Integer>>
oris服务的应用程序为例。 需在本地环境变量中设置环境变量DORIS_MY_USER和DORIS_MY_PASSWORD,建议密文存放,使用时解密,确保安全。其中: DORIS_MY_USER为访问Doris的用户名。 DORIS_MY_PASSWORD为访问Doris的用户密码。
告警解释 系统每30秒周期性检测每个HBase服务的RegionServer实例的WAL写入超时个数,当检测到某个RegionServer上的WAL写入超时个数连续10次超出阈值时产生该告警。 当RegionServer实例的WAL写入超时个数小于或等于阈值时,告警消除。 该告警仅适用于MRS
动重启服务不断服。 MRS 1.9.0.6补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
甚至造成JDBCServer2x进程不可用,Spark JDBC任务执行变慢或失败。 可能原因 该节点JDBCServer2x进程堆内存使用率过大,或配置的堆内存不合理,导致进程Full GC频繁。 处理步骤 检查Full GC次数 在FusionInsight Manager首页,选择“运维
HBase任务时HBase服务异常 依赖的基础服务HDFS、Yarn、ZooKeeper等异常 处理步骤 检查HiveQL命令是否符合语法。 使用Hive客户端连接到产生该告警的HiveServer节点,查询Apache提供的HiveQL语法规范,确认输入的命令是否正确。详情请参见https://cwiki
业务存在大SQL任务,占用过多计算资源,导致其他提交的任务无资源可用,整个计算实例响应变慢,造成任务积压。 处理步骤 检查计算实例资源配置是否合理 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 >
报告。在健康检查的报告面板上单击“导出报告”导出健康检查报告,可查看检查项的完整信息。 下载健康检查报告: 选择“系统设置 > 维护 > 健康检查”。 在目标健康检查报告所在行,单击“下载”,下载报告文件。 配置健康检查报告保存数: 在不同时间、不同使用场景下,MRS集群、服务和
获取“hbase-site.xml”、“hiveclient.properties”和“hive-site.xml”这三个配置文件,并在Linux环境上创建文件夹保存这三个配置文件,例如“/opt/client/conf”。 “hbase-site.xml”从HBase客户端获取,“hiveclient
获取“hbase-site.xml”、“hiveclient.properties”和“hive-site.xml”这三个配置文件,并在Linux环境上创建文件夹保存这三个配置文件,例如“/opt/client/conf”。 “hbase-site.xml”从HBase客户端获取,“hiveclient
oris服务的应用程序为例。 需在本地环境变量中设置环境变量DORIS_MY_USER和DORIS_MY_PASSWORD,建议密文存放,使用时解密,确保安全。其中: DORIS_MY_USER为访问Doris的用户名。 DORIS_MY_PASSWORD为访问Doris的用户密码。
甚至造成JDBCServer2x进程不可用,Spark JDBC任务执行变慢或失败。 可能原因 该节点JDBCServer2x进程堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间 在FusionInsight Manager首页,选择“运维 >
ALM-14012 Journalnode数据不同步 告警解释 在主NameNode节点上,系统每5分钟检测一次集群中所有JournalNode节点的数据同步性。如果有JournalNode节点的数据不同步,系统产生该告警。 当Journalnode数据同步5分钟后,告警恢复。 告警属性