检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
'hoodie.bucket.index.num.buckets'='10', --指定bucket桶数。
MRS 2.1.0.5补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。
数据统计,统计用户信息表的人员数、年龄最大值、年龄最小值、平均年龄。 用户销户,删除用户信息表中该用户的数据。 A业务结束后,删除用户信息表。
数据统计,统计用户信息表的人员数、年龄最大值、年龄最小值、平均年龄。 用户销户,删除用户信息表中该用户的数据。 A业务结束后,删除用户信息表。
优点:针对分区数特别多的表查询结果汇聚性能优于直接使用结果数据保证在磁盘的方式。 缺点:和spark.sql.uselocalFileCollect开启时候的缺点一样。 true:使用该功能。 false:不使用该功能。
support-timestamp 将原始类型中'INT64'的TIMESTAMP_MICROS转换为Hive的timestamp N false --decode-partition 如果分区在写入过程中已编码,则解码分区值 N false --batch-sync-num 指定每批次同步hive的分区数
“hbase.master.namespace.init.timeout”(默认为3600000ms) 通过RegionServer worker增加并行split任务执行数,保证RegionServer worker能并行处理split work(RegionServer需要有更多的核心
“hbase.master.namespace.init.timeout”(默认为3600000ms) 通过RegionServer worker增加并行split任务执行数,保证RegionServer worker能并行处理split work(RegionServer需要有更多的核心
Cgroup cpu阈值取值范围为1~100*N之间的整数,N表示机器cpu核数。
Cgroup cpu阈值取值范围为1~100*N之间的整数,N表示机器cpu核数。
优点:针对分区数特别多的表查询结果汇聚性能优于直接使用结果数据保证在磁盘的方式。 缺点:和spark.sql.uselocalFileCollect开启时候的缺点一样。
数据统计,统计用户信息表的人员数、年龄最大值、年龄最小值、平均年龄。 用户销户,删除用户信息表中该用户的数据。 A业务结束后,删除用户信息表。
{partitionNum} topic的分区数。 {replicationNum} topic中每个partition数据的副本数。 {Topic} Topic名称。
MRS 2.1.0.6补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。
行号 该行日志在日志文件中所在的行数。 级别 该行日志的级别。 日志 日志的具体内容。 在检索过程中可单击“停止”强制停止当前检索进度,并在列表中显示已检索出的结果。 单击“过滤”,可以针对界面上已经显示的日志信息进行二次筛选,具体字段如表3所示。
历史任务数10000和JobHistoryServer内存的对应关系如下: -Xms30G -Xmx30G -XX:NewSize=1G -XX:MaxNewSize=2G 观察界面告警是否清除。 是,处理完毕。 否,执行6。 收集故障信息。
30,false,Mapreduce,JobHistoryServer 00106,10000106,运行线程数,30,false,Mapreduce,JobHistoryServer 00107,10000107,GC时间,30,false,Mapreduce,JobHistoryServer
检查RegionServer并发数。 在FusionInsight Manager的告警列表中,查看1中的告警实例是否有“RegionSever handler 使用率超过阈值”告警产生。 是,执行9。 否,执行11。
在HDFS“概览”的基本信息区域(或HDFS“概览”中“NameService概述”区域)查看“丢失块数”参数值是否为0。 是,处理完毕。 否,查看是否上报“ALM-14003 丢失的HDFS块数量超过阈值”告警,并根据告警帮助进行处理。 收集故障信息。
历史任务数10000和JobHistoryServer内存的对应关系如下: -Xms30G -Xmx30G -XX:NewSize=1G -XX:MaxNewSize=2G 重启JobHistoryServer过程中,会影响Hive等任务状态的查询,可能导致查询结果不准确。