检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
容量小),会导致磁盘总容量小的节点先写满。通过修改集群默认的DataNode写数据时的磁盘选择策略为“节点磁盘可用空间块放置策略”,可提高将块数据写到磁盘可用空间较大节点的概率,解决因为数据节点磁盘容量不一致导致的节点使用率不均衡的情况。 对系统的影响 修改磁盘选择策略为“节点磁盘可用空间块放置策略(org
enable true 是否使用Leader自动均衡功能。 如果设为true,Controller会周期性的为所有节点的每个分区均衡Leader,将Leader分配给更优先的副本。 acks 1 需要Leader确认消息是否已经接收并认为已经处理完成。该参数会影响消息的可靠性和性能。 acks=0
FROM T GROUP BY day Flink SQL优化器可以识别相同的distinct key上的不同过滤器参数。例如示例中三个COUNT DISTINCT都在user_id列上。Flink可以只使用一个共享状态实例,而不是三个状态实例,以减少状态访问和状态大小,在某些工作负载下可以获得显著的性能提升。
在主Master节点重启tomcat服务。 在主master节点上用omm用户执行netstat -anp |grep 28443 |grep LISTEN查询tomcat的进程号。 执行kill -9 {pid},其中{pid}为上一步中查询到的进程号。 等待进程自动重启,可以执行netstat
进入客户端解压路径“FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles\Hive\config”,手动将“core-site.xml”、“hiveclient.properties”文件放到样例工程的“hive-jdbc-example-mul
进入客户端解压路径“FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles\Hive\config”,手动将“core-site.xml”、“hiveclient.properties”文件放到样例工程的“hive-jdbc-example-mul
mapreduce.client.submit.file.replication MapReduce任务在运行时依赖的相关job文件在HDFS上的副本数。当集群中DataNode个数小于该参数值时,副本数等于DataNode的个数。当DataNode个数大于或等于该参数值,副本数为该参数值。
mapreduce.client.submit.file.replication MapReduce任务在运行时依赖的相关job文件在HDFS上的副本数。当集群中DataNode个数小于该参数值时,副本数等于DataNode的个数。当DataNode个数大于或等于该参数值,副本数为该参数值。
file=/home/omm/temp.bin PID,导出内存信息后重启进程进行恢复。 查看Yarn的原生界面,确认队列资源情况,以及任务是否提交到了yarn上。 Yarn的原生界面:在集群详情页选择“组件管理 > Yarn > ResourceManager WebUI > ResourceManager
口,当事件失败时,Storm会自动管理bolt的状态并且执行恢复。 消息采样和调试:在Storm UI界面可以开关拓扑或者组件级别的调试,将流消息按采样比率输出到指定日志中。 Worker动态分析:在Storm UI界面可以收集Worker进程的Jstack、Heap日志,并且可以重启Worker进程。
tp-port>/jmx,如果该值超过4倍的限定值(4*1M),建议用户配置多个驱动器并重新启动HDFS。 恢复步骤: 在DataNode上配置多个数据目录。 示例:在原先只配置了/data1/datadir的位置 <property> <name>dfs.datanode.data
产生告警的主机节点信息。 对系统的影响 LdapServer数据不一致时,有可能是Manager上的LdapServer数据损坏,也有可能是集群上的LdapServer数据损坏,此时数据损坏的LdapServer进程将无法对外提供服务,影响Manager和集群的认证功能。 可能原因 LdapServer进程所在的节点网络故障。
SavePoint Savepoint是指允许用户在持久化存储中保存某个checkpoint,以便用户可以暂停自己的任务进行升级。升级完后将任务状态设置为savepoint存储的状态开始恢复运行,保证数据处理的延续性。 Flink样例工程介绍 MRS样例工程获取地址为https://github
SavePoint Savepoint是指允许用户在持久化存储中保存某个checkpoint,以便用户可以暂停自己的任务进行升级。升级完后将任务状态设置为savepoint存储的状态开始恢复运行,保证数据处理的延续性。 样例工程介绍 MRS样例工程获取地址为https://github
properties中message.max.bytes=1000012。用户修改了Kafka服务配置中message.max.bytes大小为5242880,同时也将replica.fetch.max.bytes大小修改为5242880后,仍然无法成功。 报异常如下: .......... 14749 [Thread-0]
connect apache zookeeper ", e); } } [1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”放置到"src/main/resources"的目录下。
tp-port>/jmx,如果该值超过4倍的限定值(4*1M),建议用户配置多个驱动器并重新启动HDFS。 恢复步骤: 在DataNode上配置多个数据目录。 示例:在原先只配置了/data1/datadir的位置 <property> <name>dfs.datanode.data
ALM-19014 在ZooKeeper上的容量配额使用率严重超过阈值 告警解释 系统每120秒周期性检测HBase服务的znode使用情况,当检测到HBase服务的znode容量使用率超出紧急告警的阈值(默认90%)时产生该告警。 当znode的容量使用率小于严重告警的阈值时,告警恢复。
ALM-19016 在ZooKeeper上的数量配额使用率严重超过阈值 告警解释 系统每120秒周期性检测HBase服务的znode使用情况,当检测到HBase服务的znode数量使用率超出紧急告警的阈值(默认90%)时产生该告警。 当znode的数量使用率小于严重告警的阈值时,告警恢复。
ALM-19017 在ZooKeeper上的容量配额使用率超过阈值 告警解释 系统每120秒周期性检测HBase服务的znode使用情况,当检测到HBase服务的znode容量使用率超出告警的阈值(默认75%)时产生该告警。 当znode的容量使用率小于告警的阈值时,告警恢复。 告警属性