检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ardinality_max_dictionary_size参数控制，默认8192）。 示例 CREATE TABLE test_codecs ON CLUSTER default_cluster ( `a` String, `a_low_card` LowCardinality(String)
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Guardian TokenServer实例GC时间过长，导致TokenServer响应缓慢，业务无法正常访问OBS。 可能原因 该节点TokenServer实例堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight
compressionCodecClass) 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。 saveAsSequenceFile(path, compressionCodecClass=None)
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Guardian TokenServer实例直接内存溢出可能导致业务无法正常访问OBS。 可能原因 节点TokenServer实例直接内存使用率过大，或配置的直接内存不合理，导致使用率超过阈值。 处理步骤 检查直接内存使用率。
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Guardian TokenServer实例非堆内存溢出可能导致业务无法正常访问OBS。 可能原因 该节点TokenServer实例非堆内存使用率过大，或配置的非堆内存不合理，导致使用率超过阈值。 处理步骤 检查非堆内存使用率。
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Guardian TokenServer实例RPC队列平均时间超过阈值可能导致业务访问OBS变慢，严重时会导致无法正常访问OBS。 可能原因 告警阈值配置不合理。 或Guardian TokenServer实例设置的内存太小，频繁Full GC造成JVM卡顿。
out和OOM错误。 因为数据量大，task数多，而wordcount每个task都比较小，完成速度快。当task数多时driver端相应的一些对象就变大了，而且每个task完成时executor和driver都要通信，这就会导致由于内存不足，进程之间通信断连等问题。 当把Driver的内存设置到4g时，应用成功跑完。
} } } return ""; } 样例中zkQuorum对象需替换为实际ZooKeeper集群节点信息。 样例4：类MultiComponentReducer定义Reducer抽象类的reduce方法。
} } } return ""; } 样例中zkQuorum对象需替换为实际ZooKeeper集群节点信息。 样例4：类MultiComponentReducer定义Reducer抽象类的Reduce方法。
本差异可能对迁移过程的影响，以及对迁移后业务兼容性的影响。 表3 大数据组件信息 大数据组件 源端集群版本 目的端集群版本（以MRS集群版本为准） 说明 HDFS/OBS（或其他文件存储系统） Hadoop 2.8.3 Hadoop 3.3.1 - Hive 1.2.1 2.3.3
CompressionCodec> codec) 把dataset写到一个text file、hdfs、或者hdfs支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。 java.util.Map<K,Object> countByKey() 对每个key出现的次数做统计。
saveAsTextFile(path: String): Unit 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。 saveAsSequenceFile(path: String, codec: Option[Class[_
saveAsTextFile(path: String): Unit 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。 saveAsSequenceFile(path: String, codec: Option[Class[_
CompressionCodec> codec) 把dataset写到一个text file、hdfs、或者hdfs支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。 java.util.Map<K,Object> countByKey() 对每个key出现的次数做统计。
saveAsTextFile(path: String): Unit 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。 saveAsSequenceFile(path: String, codec: Option[Class[_
saveAsTextFile(path: String): Unit 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。 saveAsSequenceFile(path: String, codec: Option[Class[_
--conf spark.shuffle.service.enabled false true 调整Spark调度参数优化OBS场景下Spark调度时延 开启对于OBS存储，可以关闭Spark的本地性进行优化，尽可能提升Spark调度效率 配置项 集群默认值 调整后 --conf spark
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Guardian TokenServer实例RPC处理平均时间超过阈值可能导致业务访问OBS变慢，严重时会导致无法正常访问OBS。 可能原因 告警阈值配置不合理。 Guardian TokenServer实例设置的内存太小，频繁Full GC造成JVM卡顿。
1.5及其之后版本支持。 对比项 节点组维度 资源池维度 弹性伸缩对象 Task节点组内的所有节点 弹性伸缩策略指定资源池内的Task节点 扩容节点资源池归属 default资源池 弹性伸缩策略指定资源池 缩容对象 Task节点组内随机缩容 弹性伸缩策略指定资源池内随机缩容 前提条件
CompressionCodec> codec) 把dataset写到一个text file、hdfs、或者hdfs支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。 java.util.Map<K,Object> countByKey() 对每个key出现的次数做统计。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
