检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“-l”:可选参数,表示日志目录,默认值为“/var/log/Bigdata”。 “-e”:可选参数,表示Flume实例的业务IP地址,主要用于接收客户端上报的监控指标信息。 “-n”:可选参数,表示自定义的Flume客户端的名称。 IBM的JDK不支持“-Xloggc”,需要修改“flume/conf/flume-env
DBService服务异常。 Yarn服务异常。 Mapreduce服务异常。 环境故障:网络异常,Loader服务无法与其依赖的内部服务通信,无法提供服务。 软件故障:Loader服务无法正常运行。 处理步骤 检查ZooKeeper服务状态。 在FusionInsight Manager首页,选择“集群
分隔。 Flink支持的所有REST API的URL中的Path信息如表1所示。 表1 Path介绍 Path 说明 /config 有关监控API和服务器设置的一些信息。 /logout 注销的重要信息。 /overview Flink集群状态的简单概要。 /jobs Job的
速发现数据价值。 Kafka集群:Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量,可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景,实现高效的流式数据采集,实时数据处理存储等。 ClickHouse集群:ClickHouse集群是一个用于联机分析的列式数
分隔。 Flink支持的所有REST API的URL中的Path信息如表1所示。 表1 Path介绍 Path 说明 /config 有关监控API和服务器设置的一些信息。 /logout 注销的重要信息。 /overview Flink集群状态的简单概要。 /jobs Job的
hostname, int port, String delimiter, long maxRetry) 获取用户定义的Socket数据,作为输入流数据。 hostname是指Socket的服务器端的主机名称。 port指的是服务器的监测端口。 delimiter指的是消息之间的分隔符。 ma
xxx.xxx.xxx:9092 在集群内任一节点启动netcat命令,等待应用程序连接。 netcat -l -p 9000 启动程序接受Socket数据,并执行联合查询。 bin/flink run --class com.huawei.bigdata.flink.examples
String> socketStream(java.lang.String hostname,int port) 创建一个输入流,通过TCP socket从对应的hostname和端口接收数据。接收的字节被解析为UTF8格式。默认的存储级别为Memory+Disk。 JavaDStream<java
创建集群时为集群增加标签 登录MRS管理控制台。 单击“购买集群”,进入购买集群页面。 在购买集群页面,选择“自定义购买”。 参考自定义购买MRS集群配置集群软件配置和硬件配置信息。 勾选“高级配置”右侧的“现在配置”,在标签栏输入新添加标签的键和值。 图1 添加标签 为已有集群增加集群标签 登录MRS管理控制台。
d/sssd.conf”修改前ldap_uri中第一个ldapserver节点是否故障,例如业务IP不可达、网络延时过长或者部署其他异常的软件。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“LdapClient”。
> HDFS > NameNode(主)”,单击“DataNodes”,查看所有告警DataNode节点的Block数量信息。 告警信息 监控ID为14007、14008、14009的告警是否产生,根据业务需要修改告警阈值。 父主题: HDFS运维管理
String> socketStream(java.lang.String hostname,int port) 创建一个输入流,通过TCP socket从对应的hostname和端口接收数据。接受的字节被解析为UTF8格式。默认的存储级别为Memory+Disk。 JavaDStream<java
kafkaStream, "name, age, sexy, proctime.proctime"); //Stream2,从Socket中读取数据 DataStream<Tuple2<String, String>> socketStream = env
String> socketStream(java.lang.String hostname,int port) 创建一个输入流,通过TCP socket从对应的hostname和端口接受数据。接受的字节被解析为UTF8格式。默认的存储级别为Memory+Disk。 JavaDStream<java
22550 JDBC thrift端口。 该端口用于: Spark2.1.0 CLI/JDBC与Spark2.1.0 CLI/JDBC服务器进行socket通信。 说明: 如果hive.server2.thrift.port被占用,将抛端口被占用异常。 安装时是否缺省启用:是 安全加固后是否启用:是
FE实例IP地址可通过登录MRS集群的Manager界面,单击“集群 > 服务 > Doris > 实例”,查看任一FE实例的IP地址。 用户也可以使用MySQL连接软件或者Doris WebUI界面连接数据库。 如果Hive组件和Doris组件是跨集群部署,需要修改以下配置: Doris所在集群的Doris的“hadoop
String> socketStream(java.lang.String hostname,int port) 创建一个输入流,通过TCP socket从对应的hostname和端口接受数据。接受的字节被解析为UTF8格式。默认的存储级别为Memory+Disk。 JavaDStream<java
“/etc/ldap.conf”修改前URI中第一个LdapServer节点,是否故障,例如业务IP不可达、网络延时过长或者部署其他异常的软件。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“LdapClient”。
zookeeper/192-168-32-67 17/10/26 19:12:38 INFO zookeeper.ClientCnxn: Opening socket connection to server 192-168-32-67/192.168.32.67:2181. Will not attempt
> HDFS > NameNode(主)”,单击“DataNodes”,查看所有告警DataNode节点的Block数量信息。 告警信息 监控ID为14007、14008、14009的告警是否产生,根据业务需要修改告警阈值。 父主题: HDFS运维管理