检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Streaming对接Kafka0-10样例程序（Scala） 功能介绍 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例
当表名为table时，执行相关操作时出现异常 问题 当创建了表名为table的表后，执行drop table table上报以下错误。 或者执行其他操作也会出现类似错误。 16/07/12 18:56:29 ERROR SparkSQLDriver: Failed in [drop
具体的配置方法如下： 配置Executor核数。 将“spark-defaults.conf”中的“spark.executor.cores”配置项或者“spark-env.sh”中的“SPARK_EXECUTOR_CORES”配置项设置为合适大小。 在使用spark-subm
tePartitioner对象，然后再检查该对象是否可序列化。由于ClosureCleaner::clean函数是static函数，当用例中的KafkaPartitioner对象是非static时，ClosureCleaner::clean函数无法访问KafkaDelegateP
将HBase查询结果与Hive查询结果进行拼接作为Map输出。 Reduce阶段： 获取Map输出中的最后一条数据。 将数据输出到HBase。 将数据保存到HDFS。 数据规划 创建HDFS数据文件。 在Linux系统上新建文本文件，将log1.txt中的内容复制保存到data.txt。 在HDFS上创建一个文件夹
function时，如果该session连接的JDBCServer实例不是创建function的JDBCServer实例，则在该session中找不到该function，而且hive默认将“hive.exec.drop.ignorenonexistent”设置为“true”，即当fu
时，如图1所示。 source算子在瞬间发送了大量数据，所有数据的key值均相等，导致window算子处理速度过慢，使barrier在缓存中积压，快照的制作时间过长，导致window算子在规定时间内没有向CheckpointCoordinator报告快照制作完成，Checkpoi
getConfiguration(); // 对于需要访问ZooKeeper的组件，需要提供jaas和krb5配置 // 在Map中不需要重复login，会使用main方法中配置的鉴权信息 String krb5 = "krb5.conf"; String jaas =
MapReduce访问多组件样例代码 功能介绍 主要分为三个部分： 从HDFS原文件中抽取name信息，查询HBase、Hive相关数据，并进行数据拼接，通过类MultiComponentMapper继承Mapper抽象类实现。 获取拼接后的数据取最后一条输出到HBase、HDF
tePartitioner对象，然后再检查该对象是否可序列化。由于ClosureCleaner::clean函数是static函数，当用例中的KafkaPartitioner对象是非static时，ClosureCleaner::clean函数无法访问KafkaDelegateP
tePartitioner对象，然后再检查该对象是否可序列化。由于ClosureCleaner::clean函数是static函数，当用例中的KafkaPartitioner对象是非static时，ClosureCleaner::clean函数无法访问KafkaDelegateP
annel被终止后认为driver失联，然后整个应用停止。 解决办法： 在Spark客户端的“spark-defaults.conf”文件中或通过set命令行进行设置。参数配置时要保证channel过期时间（spark.rpc.io.connectionTimeout）大于或等于RPC响应超时时间（spark
查询HBase一条数据。 查询Hive一条数据。 将HBase查询结果与Hive查询结果进行拼接作为Map输出。 Reduce阶段： 获取Map输出中的最后一条数据。 将数据输出到HBase。 将数据保存到HDFS。 父主题： MapReduce访问多组件样例程序
为什么有时访问没有权限的parquet表时，在上报“Missing Privileges”错误提示之前，会运行一个Job？ 问题 为什么有时访问没有权限的parquet表时，在上报“Missing Privileges”错误提示之前，会运行一个Job？ 回答 Spark SQL对
当前大集群优化已增加将UI数据溢出到磁盘的优化，其溢出条件是每个Stage中的UI数据大小达到最小阈值5MB。如果每个Stage的task数较小，那么其UI数据大小可能达不到该阈值，从而导致该Stage的UI数据一直缓存在内存中，直到UI数据个数到达保留的上限值（当前默认值为1000个），旧的UI数据才会在内存中被清除。
Spark同时访问两个HBase样例程序（Scala） 以下为Spark同时访问两个HBase样例程序的Scala示例。 下面代码片段仅为演示。 具体代码参见：com.huawei.spark.examples.SparkOnMultiHbase def main(args: Array[String]):
tePartitioner对象，然后再检查该对象是否可序列化。由于ClosureCleaner::clean函数是static函数，当用例中的KafkaPartitioner对象是非static时，ClosureCleaner::clean函数无法访问KafkaDelegateP
日期类型的字段作为过滤条件时匹配'2016-6-30'时没有查询结果 问题 为什么日期类型的字段作为过滤条件时匹配'2016-6-30'时没有查询结果，匹配'2016-06-30'时有查询结果。 如下图所示：“select count(*)from trxfintrx2012 a
Core应用时，在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容： -XX:OnOutOfMemoryError='kill -9 %p' 父主题： Spark应用开发常见问题
为什么有时访问没有权限的parquet表时，在上报“Missing Privileges”错误提示之前，会运行一个Job？ 问题 为什么有时访问没有权限的parquet表时，在上报“Missing Privileges”错误提示之前，会运行一个Job？ 回答 Spark SQL对
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
