检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-24005 Flume传输数据异常(2.x及以前版本) 告警解释 告警模块对Flume Channel的容量状态进行监控,当Channel满的时长超过阈值,或Source向Channel放数据失败的次数超过阈值后,系统发送告警。 用户可通过配置修改阈值:修改对应chann
查看此告警信息是否自动清除。 是,处理完毕。 否,执行12。 检查是否防火墙禁用端口。 执行命令lsof -i :20012查询主备节点的心跳端口是否打开,有查询结果说明端口已经开放,否则说明端口被防火墙禁用。 是,执行13。 否,执行16。 执行命令iptables -P INPUT
失败,如图2所示。 图1 时间监控信息 图2 关系图 回答 Flink引入了第三方软件包RocksDB的缺陷问题导致该现象的发生。建议用户将checkpoint设置为FsStateBackend方式。 用户需要在应用代码中将checkpoint设置为FsStateBackend。例如:
进入“客户端安装目录/Kafka/kafka/bin”使用shell命令时,根据上一步中配置的协议填写对应的端口,例如使用配置的“security.protocol”为“SASL_SSL”,则需要填写SASL_SSL协议端口,默认为21009: shkafka-console-producer.sh --broker-list
将ip:port替换为ha-cluster,使用到的其他参数见表1。 表1 客户端参数列表 参数名称 含义 默认值 spark.thriftserver.ha.enabled 是否启用HA模式,设置为true表示启用。如果启用了HA,需要在连接字符串中将host:port修改为“
失败,如图2所示。 图1 时间监控信息 图2 关系图 回答 Flink引入了第三方软件包RocksDB的缺陷问题导致该现象的发生。建议用户将checkpoint设置为FsStateBackend方式。 用户需要在应用代码中将checkpoint设置为FsStateBackend。例如:
ALM-29016 Impalad实例亚健康 告警解释 MRS 3.1.5版本:系统每60秒周期性检测Impalad的Hive Server2 HTTP端口(28000)是否响应curl请求,当返回结果不正确(连续2次检测超过20秒)时产生该告警,当curl请求在20秒内正确响应时,告警恢复。
说明 示例 server.url Loader服务的浮动IP地址和端口。端口默认为21351。 为了兼容性,此处支持配置多个IP地址和端口,并以“,”进行分隔。其中第一个必须是Loader服务的浮动IP地址和端口,其余的可根据业务需求配置。 10.96.26.111:21351,127
行度,充分利用集群机器的计算能力,一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置,用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数,优先级最高。 testRDD.groupByKey(24)
单击“编辑驱动设置”,参考下表信息设置相关参数。 表1 驱动设置信息 参数名 参数值 类名 io.prestosql.jdbc.PrestoDriver URL模板 通过HSFabric方式访问HetuEngine jdbc:presto://<HSFabricIP1:port1>,<HSFabricIP2:port2>
KafkaManager介绍 KafkaManager是Apache Kafka的管理工具,提供Kafka集群界面化的Metric监控和集群管理。 通过KafkaManager可以: 支持管理多个Kafka集群 支持界面检查集群状态(主题,消费者,偏移量,分区,副本,节点) 支持界面执行副本的leader选举
数据库名 --port 端口号 -m --secure --query="SELECT * FROM 表名" > csv文件导出路径 使用示例: clickhouse client --host 10.5.208.5 --database testdb --port 9440 -m
Kafka Shell命令介绍 前提条件 Kafka的Linux客户端已安装。安装方法可参考安装客户端。 常用的Shell命令指南 Shell命令执行方法: 进入Kafka客户端任意目录。 初始化环境变量。 source /opt/client/bigdata_env 如果当前集
配置JDBCServer的主机名和端口,如果要使用hive数据的话,还要提供hive metastore的uris。 JDBCServer默认在安装节点上的22550端口起一个JDBC服务(通过参数hive.server2.thrift.port配置),可以通过Beeline或者
在列表中单击“tomcat”所在行的“修改配置”。 在打开的页面中根据需要设置Tomcat的“会话超时时间”,单击“确定”。 请根据实际业务需要设置最短会话时长,过长的会话超时时间,可能导致安全风险。 暂不支持根据该方法修改组件WebUI的超时时间。 父主题: MRS集群安全加固
否,执行3。 查看设置的spoolDir监控目录,是否所有的文件均已传输完毕。 是,处理完毕。 否,执行5。 spoolDir的监控目录为用户自定义配置文件properties.properties中.spoolDir的参数值。若监控目录文件已传输完毕,则该监控目录下的所有文件以
查看“Yarn被终止的任务数超过阈值”告警详情中的“附加信息”,确认监控阈值是否设置过小。 是,执行3。 否,执行4。 选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Yarn > 其它 > root队列下被杀死的任务数”,修改该监控的阈值。执行6。 选择“集群 > 待操作集群的名称
令构造一个端口进行接收数据(不同操作系统的机器,命令可能不同,suse尝试使用netcat -lk 9999): nc -lk 9999 在构造一个端口进行接收数据时,需要在客户端所在服务器上安装netcat 开发思路 使用SparkStreaming持续读取特定端口的数据。 将
配置JDBCServer的主机名和端口,如果要使用hive数据的话,还要提供hive metastore的uris。 JDBCServer默认在安装节点上的22550端口起一个JDBC服务(通过参数hive.server2.thrift.port配置),可以通过Beeline或者
查看“Yarn上运行失败的任务数超过阈值”告警详情中的“附加信息”,确认监控阈值是否设置过小。 是,执行3。 否,执行4。 选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Yarn > 其它 > root队列下失败的任务数”,修改该监控的阈值。执行6。 选择“集群 > 待操作集群的名称 >