正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OVERRIDE Map数 配置数据操作的MapReduce任务中同时启动的Map数量。不可与“Map数据块大小”同时配置。参数值必须小于或等于3000,建议以SFTP服务器的CPU的核数作为其取值。
num.replica.fetchers 1 副本向Leader请求同步数据的线程数,增大这个数值会增加副本的I/O并发度。 num.io.threads 8 Broker用来处理磁盘I/O的线程数目,这个线程数目建议至少等于硬盘的个数。
表1 参数描述 参数 描述 默认值 yarn.app.attempt.diagnostics.limit.kc 定义每次应用连接的诊断消息的数据大小,以千字节为单位(字符数*1024)。
表1 参数描述 参数 描述 默认值 yarn.app.attempt.diagnostics.limit.kc 定义每次应用连接的诊断消息的数据大小,以千字节为单位(字符数*1024)。
修改Source侧的“WhiteList”参数值与配置的Topic Table Mapping表数一致,并单击“保存”。
replication请求的时间间隔 getShippedOps() 返回类型:long 返回:输送的数据ops总数 getShippedBytes() 返回类型:long 返回:输送的总的数据字节数 getShippedBatches() 返回类型:long 返回:输送的总的数据批数
JDBC连接池中最大空闲连接数 8 jdbc.connection.pool.minIdle JDBC连接池中最小空闲连接数 0 jdbc.connection.pool.testOnBorrow 从JDBC连接池中获取连接使用时是否对连接的有效性做检验 false clickhouse.map-string-as-varchar
of /tmp is exceeded: limit=1048576 items=1048577 | FSNamesystem.java:2334 该限制是dfs.namenode.fs-limits.max-directory-items参数,定义单个目录下不含递归的最大目录数或者文件数
num.replica.fetchers 1 副本向Leader请求同步数据的线程数,增大这个数值会增加副本的I/O并发度。 num.io.threads 8 Broker用来处理磁盘I/O的线程数目,这个线程数目建议至少等于硬盘的个数。
false 否 taskmanager.numberOfTaskSlots TaskManager占用的slot数,一般配置成物理机的核数,yarn-session模式下只能使用-s参数传递,yarn-cluster模式下只能使用-ys参数传递。
压缩配置 carbon.number.of.cores.while.compacting 2 在压缩过程中用于写入数据所使用的核数。配置的核数越大压缩性能越好。如果CPU资源充足可以增加此值。
50 spark.thriftserver.proxy.sessionWaitTime 多租户模式下,当JDBCServer的session连接数为0时,停止JDBCServer前的等待时间。
60000 hoodie.index.bloom.fpp 根据条目数允许的错误率。 用于计算应为布隆过滤器分配多少位以及哈希函数的数量。通常将此值设置得很低(默认值:0.000000001),在磁盘空间上进行权衡以降低误报率。
此时使用coalesce(numPartitions, false),numPartitions小于父RDD切片数。 当输入切片个数太大,导致程序无法正常运行时使用。 当任务数过大时候Shuffle压力太大导致程序挂住不动,或者出现linux资源受限的问题。
修改Thirdk Kafka的“tasks.max”参数值与“source.topics”配置的Topic数一致,并单击“保存”。 在数据同步任务作业列表界面选择该任务所在行的“启动”,重新启动该任务。 父主题: CDL故障排除
此时使用coalesce(numPartitions, false),numPartitions小于父RDD切片数。 当输入切片个数太大,导致程序无法正常运行时使用。 当任务数过大时候Shuffle压力太大导致程序挂住不动,或者出现linux资源受限的问题。
使用公式计算临时端口使用率,临时端口使用率=(临时端口使用数/临时端口总数)*100,确认临时端口使用率是否超过阈值。 是,执行8。 否,执行7。 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行8。 检查系统环境是否异常。
此时使用coalesce(numPartitions, false),numPartitions小于父RDD切片数。 当输入切片个数太大,导致程序无法正常运行时使用。 当任务数过大时候Shuffle压力太大导致程序挂住不动,或者出现linux资源受限的问题。
HBase的RegionServer滚动重启的并发数不支持手动配置,会根据RegionServer的节点数自行调整。 调整规则为:30节点以内,每个批次1个节点;300节点以内,每个批次2个节点;300节点以上(含300节点),每个批次1%(向下取整)个节点。
正在执行的SQL数,所有的session和SQL信息。