正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
水平扩展性好,如果数据量越大,产生的分片就越多,所以只要增加任务的并发数,就可以获得较理想的性能;反之,减少任务并发数,就可以节省资源。 简化数据分片逻辑,不需要考虑“精度丢失”、“类型兼容”和“绑定变量”等问题。
true hive.metastore.server.min.threads MetaStore启动的用于处理连接的线程数,如果超过设置的值之后,MetaStore就会一直维护不低于设定值的线程数,即常驻MetaStore线程池的线程会维护在指定值之上。
水平扩展性好,如果数据量越大,产生的分片就越多,所以只要增加任务的并发数,就可以获得较理想的性能;反之,减少任务并发数,就可以节省资源。 简化数据分片逻辑,不需要考虑“精度丢失”、“类型兼容”和“绑定变量”等问题。
配置TaskManager Slot数。 每个TaskManager多个核同时能跑多个task,相当于增大了任务的并发度。但是由于所有核共用TaskManager的内存,所以要在内存和核数之间做好平衡。
不可与“Map数”同时配置。当使用关系型数据库连接器时,不支持“Map数据块大小”,请配置“Map数”。 SPARK 输出目录 仅支持SparkSQL存取Hive数据,制定数据导入到Hive里存储的保存目录。 Map数 配置数据操作的MapReduce任务中同时启动的map数量。
将RSGroup最小节点数设置为下述三种情况的最大值。 为了保证服务的可靠性,RSGroup内的RegionServer节点数量需要配置一定的冗余量,确保冗余节点数 > (RSGroup内业务表region总数/2000)* 50%。
将RSGroup最小节点数设置为下述三种情况的最大值。 为了保证服务的可靠性,RSGroup内的RegionServer节点数量需要配置一定的冗余量,确保冗余节点数 >(RSGroup内业务表region总数/2000)*50%。
在FusionInsight Manager界面,选择“集群 > 服务 > Doris”,在左侧图表分类中单击“连接”,查看“FE的MySQL端口连接数”监控图表,如果连接数较大;选择“实例 > FE > 图表”,在左侧图表分类中单击“CPU和内存”,查看“FE的CPU使用率”监控图表
通过控制单个任务并发的map数或减少每个节点下运行task的内存,降低节点负载。 升级ZooKeeper数据磁盘,如SSD等。 父主题: HBase故障排除
/kafka-topics.sh --create --topic 主题名称 --partitions 主题占用的分区数 --replication-factor 主题的备份数 --zookeeper ZooKeeper的任意一个节点的业务IP:clientPort/kafka .
在FusionInsight Manager界面,选择“集群 > 服务 > Doris”,在左侧图表分类中单击“连接”,查看“FE的MySQL端口连接数”监控图表,如果连接数较大;选择“实例 > FE > 图表”,在左侧图表分类中单击“CPU和内存”,查看“FE的CPU使用率”监控图表
FILE Map数 配置数据操作的MapReduce任务中同时启动的Map数量。不可与“Map数据块大小”同时配置。参数值必须小于或等于3000,建议以SFTP服务器的CPU的核数作为其取值。
如果需要修改clean默认的参数,需要在执行前以set方式设置好需要保留的commit数等参数。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi DML语法说明
通过控制单个任务并发的map数或减少每个节点下运行task的内存,降低节点负载。 升级ZooKeeper数据磁盘,如SSD等。 父主题: HBase故障排除
10 hoodie.keep.max.commits 触发归档操作的commit数阈值。 30 hoodie.keep.min.commits 归档操作保留的commit数。
触发该条件的指标阈值,只允许输入整数或者带两位小数的数。 约束限制: 不涉及 取值范围: 只允许输入整数或者带两位小数的数。 默认取值: 不涉及 comparison_operator String 参数解释: 指标判断逻辑运算符。
它是一个计数器,接收任意列数的时间序列输入,作用是统计并输出指定时间范围内每一个时间窗口中的数据行数。
Execution Error return code 2” 有大量分区时执行drop partition操作失败 执行join操作时localtask启动失败 修改hostname后导致WebHCat启动失败 集群修改域名后Hive样例程序运行报错 DBService超过最大连接数后导致
性能调优建议 建议预先创建Topic,根据业务需求合理规划Partition数目,Partition数目限制了消费者的并发数。 消息key值选取一定是可变的,防止由于消息key值不变导致消息分布不均匀。 消费者尽量使用主动提交offset的方式,避免重复消费。
如果对核数有要求,可以搜索并修改spark.driver.cores和spark.executor.cores的核数取值。 Spark依赖内存做计算,如果以上还是不能满足任务的提交需要,建议扩容集群。 父主题: 使用Spark