正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
carbon.number.of.cores.while.compacting 2 Minor/Major 在合并过程中写入数据时所用的核数。配置的核数越大合并性能越好。如果CPU资源充足可以增加此值。
正在执行的SQL数,所有的session和SQL信息。
join(other, numPartitions) 当有两个KV的dataset(K,V)和(K,W),返回的是(K,(V,W))的dataset,numPartitions为并发的任务数。
long count() 返回DataFrame的行数。 DataFrame describe(java.lang.String... cols) 计算统计信息,包含计数,平均值,标准差,最小值和最大值。 Row first() 返回第一行。
join[W](other: RDD[(K, W)][, numPartitions: Int]): RDD[(K, (V, W))] 当有两个KV的dataset(K,V)和(K,W),返回的是(K,(V,W))的dataset,numPartitions为并发的任务数。
join(other, numPartitions) 当有两个KV的dataset(K,V)和(K,W),返回的是(K,(V,W))的dataset,numPartitions为并发的任务数。
JDBC连接池中最大空闲连接数 8 jdbc.connection.pool.minIdle JDBC连接池中最小空闲连接数 0 join-pushdown.enabled true:允许将Join下推到数据源执行 false: Join不会被下推到数据源执行,因此会消耗更多的网络和计算资源
yarn.nodemanager.resource.cpu-vcores 可分配给container的CPU核数。 8 为达到最优性能,可配置为集群中节点最小CPU vCores。
为避免过大并发量占用ZooKeeper过多资源,对Hudi在ZooKeeper上增加了Quota配额限制,可以通过服务端修改Spark组件中参数zk.quota.number来调整Hudi的Quota配额,默认为500000,最小为5,且不可通过此参数来控制并行任务数,仅用来控制对
查询场景调优举例:如果查询的范围比较大,单个序列10000个点以上,JVM分配内存的20% / 序列数 > 160K,即为默认配置下存储引擎对查询最友好的状态。
join[W](other: RDD[(K, W)][, numPartitions: Int]): RDD[(K, (V, W))] 当有两个KV的dataset(K,V)和(K,W),返回的是(K,(V,W))的dataset,numPartitions为并发的任务数。
long count() 返回DataFrame的行数。 DataFrame describe(java.lang.String... cols) 计算统计信息,包含计数,平均值,标准差,最小值和最大值。 Row first() 返回第一行。
join[W](other: RDD[(K, W)][, numPartitions: Int]): RDD[(K, (V, W))] 当有两个KV的dataset(K,V)和(K,W),返回的是(K,(V,W))的dataset,numPartitions为并发的任务数。
表1 参数描述 参数 描述 默认值 spark.sql.broadcastTimeout BroadcastHashJoin中广播表的超时时间,当任务并发数较高的时候,可以调高该参数值。 -1(数值类型,实际为五分钟) 父主题: Spark SQL性能调优
可能原因 HBase RegionServer数太少。 HBase单个RegionServer上Region数过多。 HBase RegionServer堆大小较小。 资源不足。 相关参数配置不合理。 处理步骤 检查HBase相关配置是否合理。
long count() 返回DataFrame的行数。 DataFrame describe(java.lang.String... cols) 计算统计信息,包含计数,平均值,标准差,最小值和最大值。 Row first() 返回第一行。
long count() 返回DataFrame的行数。 DataFrame describe(java.lang.String... cols) 计算统计信息,包含计数,平均值,标准差,最小值和最大值。 Row first() 返回第一行。
触发该条件的指标阈值,只允许输入整数或者带两位小数的数。 约束限制: 不涉及 取值范围: 只允许输入整数或者带两位小数的数。 默认取值: 不涉及 comparison_operator 否 String 参数解释: 指标判断逻辑运算符。
代码样例 SimpleConsumer API主方法需要传入三个参数,最大消费数量、消费Topic、消费的Topic分区 public static void main(String args[]) { // 允许读取的最大消息数 long
选择“配置 > 全部配置”,搜索“task.writer-count”(每个worker单一查询时writer的并行线程数),查看参数值是否为“1”,否则改为“1”。