检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ComponentName 产生告警的元素名称。 对系统的影响 Flume Channel的磁盘空间使用量有继续增长的趋势,将会使数据导入到指定目的地的时间增长,当Flume Channel的磁盘空间使用量达到100%时会导致Flume Agent进程暂停工作。 可能原因 Flume Sink故障,导致数据无法发送。
final String hostName = paraTool.get("hostName"); // 修改hosts文件,使用主机名 final String keytab = paraTool.get("keytab文件路径"); //
SparkOnMultiHbase /opt/example/SparkOnMultiHbase-1.0.jar 开发思路 用户访问HBase时,需要使用对应集群的配置文件创建Configuration对象,用于创建Connection对象。 用对应的Connection对象操作HBase表
受或拒绝。 组件每次启动都会检查组件默认的Ranger Service是否存在,如果不存在则会创建以及为其添加默认Policy。如果用户在使用过程中误删了Service,可以重启或者滚动重启相应组件服务来恢复,如果是误删了默认Policy,可先手动删除Service,再重启组件服务。
扩缩容,避免出现增加或减少资源的延后。 弹性伸缩规则与资源计划均可触发弹性伸缩,两者必须至少配置其中一种,也可以叠加使用。资源计划与基于负载的弹性伸缩规则叠加使用可以使得集群节点的弹性更好,足以应对偶尔超出预期的数据峰值出现。 当某些业务场景要求在集群扩缩容之后,根据节点数量的变
HDFS应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解HDFS的基本概念。 HDFS应用开发常用概念 准备开发环境 使用Eclipse工具,请根据指导完成开发环境配置。 准备Eclipse与JDK 准备运行环境 HDFS的运行环境即HDFS客户端,请根据指导完成客户端的安装和配置。
可以仿照以下参数示例进行填写,其中,“IP_Address”填写FusionInsight Manager对应的浮动IP地址。 如果需要使用其他用户进行操作,请先登录FusionInsight Manager创建用户。 userName= admin password=
ApplicationMasterProtocol 用于ApplicationMaster与ResourceManager之间。ApplicationMaster使用该协议向ResourceManager注册、申请资源、获取各个任务的运行情况等。 表2 ApplicationMasterProtocol常用方法
在IntelliJ IDEA工程中修改WordCountTopology.java类,使用remoteSubmit方式提交应用程序。并替换用户keytab文件名称,用户principal名称,和Jar文件地址。 使用remoteSubmit方式提交应用程序 public static void
ApplicationMasterProtocol 用于ApplicationMaster与ResourceManager之间。ApplicationMaster使用该协议向ResourceManager注册、申请资源、获取各个任务的运行情况等。 表2 ApplicationMasterProtocol常用方法
RocksDB的Compaction预估数据量过大。 处理步骤 在TaskManager日志检查是否RocksDB的Compaction预估数据量过大并收集日志 使用具有FlinkServer管理操作权限的用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > ALM-45647
身没有影响。 可能原因 RocksDB的写压力较大。 处理步骤 在TaskManager日志检查是否RocksDB的写压力较大并收集日志 使用具有FlinkServer管理操作权限的用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > ALM-45643
支持online和offline场景 接口类型简介 Kafka主要提供了的API主要可分Producer API和Consumer API两大类,均提供有Java API,使用的具体接口说明请参考Kafka Java API接口介绍。 常用概念 Topic Kafka维护的同一类的消息称为一个Topic。 Partition
开发环境的基本配置。版本要求:1.7或者1.8。 说明: 基于安全考虑,服务端只支持TLS 1.1和TLS 1.2加密协议,IBM JDK默认TLS只支持1.0,若使用IBM JDK,请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS1
支持online和offline场景 接口类型简介 Kafka主要提供了的API主要可分Producer API和Consumer API两大类,均提供有Java API,使用的具体接口说明请参考Kafka Java API接口介绍。 常用概念 Topic Kafka维护的同一类的消息称为一个Topic。 Partition
ClickHouse节点及容量规划如下: 磁盘规划 由于ClickHouseServer业务数据主要存储在本地磁盘上,数据量可能会随着集群使用时间增长而增长,通常建议ClickHouse数据盘单独挂载,元数据盘共享第一个数据盘目录。 磁盘实际容量 由于磁盘存在1MB = 1024
*******************************************"); // 读取文本路径信息,并使用逗号分隔 final String[] filePaths = ParameterTool.fromArgs(args).get("filePath"
ApplicationMasterProtocol 用于ApplicationMaster与ResourceManager之间。ApplicationMaster使用该协议向ResourceManager注册、申请资源、获取各个任务的运行情况等。 表2 ApplicationMasterProtocol常用方法
Flink作业RocksDB的Pending Flush请求数量过多。 处理步骤 在TaskManager日志检查是否Pending Flush请求数量过多并收集日志 使用具有FlinkServer管理操作权限的用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > ALM-45645
Compaction请求数量过多。 处理步骤 在TaskManager日志检查是否Pending Compaction请求数量过多并收集日志 使用具有FlinkServer管理操作权限的用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > ALM-45646