检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Linux环境中查看Spark程序调测结果 操作场景 Spark应用程序运行完成后，可通过如下方式查看应用程序的运行情况。 通过运行结果数据查看应用程序运行情况。 登录Spark WebUI查看应用程序运行情况。 通过Spark日志获取应用程序运行情况。 操作步骤 查看Spark
运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata...” 解决步骤 检查工程conf目录下“producer.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确： 如果
Spark从HBase读取数据再写入HBase样例程序（Java） 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHbasetoHbase
Spark从HBase读取数据再写入HBase样例程序（Scala） 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHbasetoHbase
Spark从Hive读取数据再写入HBase样例程序（Java） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHivetoHbase
Spark应用执行过程中，日志中一直打印getApplicationReport异常且应用较长时间不退出 问题 Spark应用执行过程中，当driver连接RM失败时，会报下面的错误，且较长时间不退出。 16/04/23 15:31:44 INFO RetryInvocationHandler
为什么Spark Streaming应用创建输入流，但该输入流无输出逻辑时，应用从checkpoint恢复启动失败 问题 Spark Streaming应用创建1个输入流，但该输入流无输出逻辑。应用从checkpoint恢复启动失败，报错如下： 17/04/24 10:13:57
将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt/female/” ）下。
如果要卸载HBase服务，卸载前请将此参数值改回“false”）。
如果要卸载HBase服务，卸载前请将此参数值改回“false”）。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt/female/” ）下。
将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt” ）下。
将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt” ）下。
如果要卸载HBase服务，卸载前请将此参数值改回“false”）。
打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt” ）下。
如果要卸载HBase服务，卸载前请将此参数值改回“false”）。
将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt/female/” ）下。
向动态分区表中插入数据时，在重试的task中出现"Failed to CREATE_FILE"异常 问题 向动态分区表中插入数据时，shuffle过程中大面积shuffle文件损坏（磁盘掉线、节点故障等）后，为什么会在重试的task中出现"Failed to CREATE_FILE
Spark SQL无法查询到Parquet类型的Hive表的新插入数据 问题 为什么通过Spark SQL无法查询到存储类型为Parquet的Hive表的新插入数据？主要有以下两种场景存在这个问题： 对于分区表和非分区表，在Hive客户端中执行插入数据的操作后，会出现Spark SQL
用add jar方式创建function，执行drop function时出现问题 问题 问题一： 用户没有drop function的权限，能够drop成功。具体场景如下： 在FusionInsight Manager页面上添加user1用户，给予用户admin权限，执行下列操作
访问Spark2x JobHistory中某个应用的原生页面时页面显示错误 问题 提交一个Spark应用，包含单个Job 百万个task。应用结束后，在JobHistory中访问该应用的原生页面，浏览器会等待较长时间才跳转到应用原生页面，若10分钟内无法跳转，则页面会显示Proxy
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
