检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 由于Kafka配置的限制，导致Spark Streaming应用运行失败 执行Spark Cor
streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 SparkSQL UDF功能的权限控制机制 由于Kafka配置的限制，导致Spark Streaming应用运行失败 执行Spark
NameNode元数据存储路径 NameNode元数据信息的默认存储路径为“${BIGDATA_DATA_HOME}/namenode/data”，该参数用于确定HDFS文件系统的元数据信息的保存路径。 HDFS需要开启NameNode镜像备份 NameNode的镜像备份参数为“fs.namenode
); 在开启了写时合并选项的Unique表中，数据在导入阶段就会将被覆盖和被更新的数据进行标记删除，同时将新的数据写入到新的文件。在查询时，所有被标记删除的数据都会在文件级别被过滤，读取出来的数据是最新的数据，消除了读时合并中数据聚合的过程，并且支持多种谓词的下推，因此在聚合查询场景下能带来较大的性能提升。
不建议分区列选择类型为float或double的字段，因为精度问题，可能导致分区列字段的最小值、最大值所在记录无法导入。 id 分区列空值 配置对数据库列中为null值记录的处理方式。 值为“true”时，分区列的值为null的数据会被处理； 值为“false”时，分区列的值为null的数据不会被处理。 true
不建议分区列选择类型为float或double的字段，因为精度问题，可能导致分区列字段的最小值、最大值所在记录无法导入。 id 分区列空值 配置对数据库列中为null值记录的处理方式。 值为“true”时，分区列的值为null的数据会被处理； 值为“false”时，分区列的值为null的数据不会被处理。 true
因为启动MapReduce任务而占用更多的集群内存和CPU资源，也可能会生成大量很小的HFile文件频繁的触发Compaction，导致查询速度急剧下降。 错误的使用put，会造成数据加载慢，当分配给RegionServer内存不足时会造成RegionServer内存溢出从而导致进程退出。
防止上限超过流量峰值，导致作业异常带来不稳定因素。因此建议设置限流，限流上限应该为业务上线压测的峰值。 【示例】 #如下参数作用在每个并行度 'scan.records-per-second.limit' = '1000' #真实的限流流量如下 min( parallelism * scan.records-per-second
JobGateway提供了如下表2所示的日志级别。 日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。
数据处理单元，会将一或多个DataStream转换成一个新的DataStream。 具体可以细分如下几类： 一对一的转换：如Map。 一对0、1或多个的转换：如FlatMap。 一对0或1的转换，如Filter。 多对1转换，如Union。 多个聚合的转换，如window、keyby。 Topology
因为启动MapReduce任务而占用更多的集群内存和CPU资源，也可能会生成大量很小的HFile文件频繁的触发Compaction，导致查询速度急剧下降。 错误的使用put，会造成数据加载慢，当分配给RegionServer内存不足时会造成RegionServer内存溢出从而导致进程退出。
为启动MapReduce任务而占用更多的集群内存和CPU资源，也可能会生成大量很小的HFile文件频繁的触发Compaction，导致查询速度急剧下降。 错误的使用put，会造成数据加载慢，当分配给RegionServer内存不足时会造成RegionServer内存溢出从而导致进程退出。
因为启动MapReduce任务而占用更多的集群内存和CPU资源，也可能会生成大量很小的HFile文件频繁的触发Compaction，导致查询速度急剧下降。 错误的使用put，会造成数据加载慢，当分配给RegionServer内存不足时会造成RegionServer内存溢出从而导致进程退出。
因为启动MapReduce任务而占用更多的集群内存和CPU资源，也可能会生成大量很小的HFile文件频繁的触发Compaction，导致查询速度急剧下降。 错误的使用put，会造成数据加载慢，当分配给RegionServer内存不足时会造成RegionServer内存溢出从而导致进程退出。
replicas) Partition的副本数不要超过节点个数 Kafka中Topic的Partition的副本是为了提升数据的可靠性而存在的，同一个Partition的副本会分布在不同的节点，因此副本数不允许超过节点个数。 Consumer客户端的配置参数“fetch.message
在yarn-client模式下，Spark的Driver和ApplicationMaster作为两个独立的进程在运行。当Driver完成任务退出时，会通知ApplicationMaster向ResourceManager注销自身，即调用unregister方法。 由于是远程调用，则存在发生网络故障的可能性。当发
发的Reduce（化简）函数，用来保证所有映射的键值对共享相同的键组。 图1 分布式批处理引擎 MapReduce是用于并行处理大数据集的软件框架。MapReduce的根源是函数性编程中的Map和Reduce函数。Map函数接受一组数据并将其转换为一个键/值对列表，输入域中的每个
手动指定运行Yarn任务的用户 本章节适用于MRS 3.x及后续版本集群。 配置场景 目前Yarn支持启动NodeManager的用户运行所有用户提交的任务，也支持以提交任务的用户运行任务。 配置描述 在Manager系统中，选择“集群 > 服务 > Yarn > 配置”，选择“全部配置”。在搜索框中输入参数名称。
手动指定运行Yarn任务的用户 配置场景 目前YARN支持启动NodeManager的用户运行所有用户提交的任务，也支持以提交任务的用户运行任务。 配置描述 在Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”，选择“全部配置”。在搜索框中输入参数名称。
从表或分区中移除所有行。用户可以通过partition_spec一次性删除分区表的多个分区，如果不指定就一次清除分区表的所有分区。当表属性“auto.purge”采用默认值“false”时，被删除的数据行将保存到文件系统的回收站，否则，当“auto.purge”设置为“true”时，数据行将被直接删除。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
