检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
节点组中节点数量总和小于等于10000个。 管控数合设 生产环境或商用环境不推荐使用此场景。 管理节点、控制节点和数据节点合并部署时,集群性能和可靠性都会产生较大影响。 如节点数量满足需求,建议将数据节点单独部署。 Master节点数量大于等于3个,小于等于100个。 节点组数量总和小于等于10个。
HBase计划性迁移后存量复制导致全量数据重复迁移。 Cache key had block type null日志打印过多,可能影响性能。 ALM-19012告警HBase系统表目录或文件丢失告警误报。 健康检查脚本执行异常导致上报HBase服务不可用误告警。 解决Yarn问题:
1 spark.shuffle.service.enabled NodeManager中一个长期运行的辅助服务,用于提升Shuffle计算性能。 fasle spark.sql.adaptive.enabled 是否开启自适应执行框架。 false spark.executor.memoryOverhead
1 spark.shuffle.service.enabled NodeManager中一个长期运行的辅助服务,用于提升Shuffle计算性能。 fasle spark.sql.adaptive.enabled 是否开启自适应执行框架。 false spark.executor.memoryOverhead
计算实例重启期间无法执行SQL任务。 直接重启耗时约5分钟。 滚动重启 不支持滚动重启。 - MemArtsCC 直接重启 重启期间无法使用缓存数据,影响上层组件性能 直接重启耗时3~5分钟 滚动重启 重启时仅部分缓存数据不可读,不影响整体业务 滚动重启耗时约10分钟,节点数越多时间越长 Kudu 直接重启
解决[YARN-10854]问题 Hive支持Redis缓存连接失败重试 支持OBSA客户端数据监控上报 支持OBS流控重试机制 pms性能优化 mrs-obs-provider的缓存过期优化 优化删除分区的逻辑 Yarn的refresh node速度优化 删除无效告警 补丁兼容关系
执行日志) OS:/var/log/message文件(OS系统日志) OS Performance:/var/log/osperf(OS性能统计日志) OS Statistics:/var/log/osinfo/statistics(OS参数配置信息日志) 日志归档规则: Ma
“热”程度将数据存放在不同类型的磁盘上,即冷数据存储在OBS,热数据存储在ClickHouse中。实现了ClickHouse集群在提供查询性能的同时又能以低成本的方式实现数据的长期存放。 配置ClickHouse数据冷热分离存储的整体流程如下: 创建OBS并行文件系统 创建云服务委托并绑定集群
可选配置项,您可以根据描述来进行参数配置,或者使用缺省提供的值。 表1 可选配置项 配置入口 配置项 缺省值 描述 “HMaster > 性能” hbase.master.logcleaner.ttl 600000 指定HLog的保存期限。如果配置值为“604800000”(单位
rewrite.timeout:物化视图的重写超时控制(单位:秒),推荐5s。物化视图重写时会消耗一定的时间,添加该参数可限制重写所带来的性能损耗,物化视图重写超时后会执行原始SQL。 若使用Session级别开启物化视图功能,并需要开启物化视图重写超时控制,可先执行set session
P BY子句。 AggregatingMergeTree AggregatingMergeTree是预先聚合引擎的一种,用于提升聚合计算的性能。AggregatingMergeTree引擎能够在合并分区时,按照预先定义的条件聚合数据,同时根据预先定义的聚合函数计算数据并通过二进制的格式存入表内。
parquet.max.file.size Hudi写阶段生成的parquet文件的目标大小。对于DFS,这需要与基础文件系统块大小保持一致,以实现最佳性能。 120 * 1024 * 1024 byte hoodie.parquet.block.size parquet页面大小,页面是par
P BY子句。 AggregatingMergeTree AggregatingMergeTree是预先聚合引擎的一种,用于提升聚合计算的性能。AggregatingMergeTree引擎能够在合并分区时,按照预先定义的条件聚合数据,同时根据预先定义的聚合函数计算数据并通过二进制的格式存入表内。
SPATIAL_INDEX.xxx.level 可选参数,用于计算空间索引列。默认值为17,因为该值可以计算出足够精确的结果,同时拥有良好的性能。 SPATIAL_INDEX.xxx.class 可选参数,用于指定geo的实现类,默认为“org.apache.carbondata.geo
SPATIAL_INDEX.xxx.level 可选参数,用于计算空间索引列。默认值为17,因为该值可以计算出足够精确的结果,同时拥有良好的性能。 SPATIAL_INDEX.xxx.class 可选参数,用于指定geo的实现类,默认为“org.apache.carbondata.geo
默认取值: 不涉及 query_node_detail 否 Boolean 参数解释: 是否查询节点详情。该字段设为true时可能会影响接口性能。 约束限制: 不涉及 取值范围: true:查询节点详情 false:不查询节点详情 默认取值: false query_ecs_detail
可选配置项,您可以根据描述来进行参数配置,或者使用缺省提供的值。 表1 可选配置项 配置入口 配置项 缺省值 描述 “HMaster > 性能” hbase.master.logcleaner.ttl 600000 指定HLog的保存期限。如果配置值为“604800000”(单位
def rebalance: DataStream[T] 基于round-robin对元素进行分区,使得每个分区负责均衡。对于存在数据倾斜的性能优化是很有用的。 def rescale: DataStream[T] 以round-robin的形式将元素分区到下游操作的子集中。 说明:
def rebalance: DataStream[T] 基于round-robin对元素进行分区,使得每个分区负责均衡。对于存在数据倾斜的性能优化是很有用的。 def rescale: DataStream[T] 以round-robin的形式将元素分区到下游操作的子集中。 说明:
def rebalance: DataStream[T] 基于round-robin对元素进行分区,使得每个分区负责均衡。对于存在数据倾斜的性能优化是很有用的。 def rescale: DataStream[T] 以round-robin的形式将元素分区到下游操作的子集中。 说明: