检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt” ）下。 运行任务 在运行样例程序时需要指定<checkpointDir> <brokers> <topic>
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt” ）下。 版本号中包含hw-ei的依赖包请从华为开源镜像站下载 版本号中不包含hw-ei的依赖包都来自开源仓库，请从Maven中心仓获取。
两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如：“/opt/female/user
当表名为table时，执行相关操作时出现异常 问题 当创建了表名为table的表后，执行drop table table上报以下错误。 或者执行其他操作也会出现类似错误。 16/07/12 18:56:29 ERROR SparkSQLDriver: Failed in [drop
当初始Executor为0时，为什么INSERT INTO/LOAD DATA任务分配不正确，打开的task少于可用的Executor？ 问题 当初始Executor为0时，为什么INSERT INTO/LOAD DATA任务分配不正确，打开的task少于可用的Executor？
如何处理非static的KafkaPartitioner类对象构造FlinkKafkaProducer010运行时报错 问题 Flink内核升级到1.3.0之后，当Kafka调用带有非static的KafkaPartitioner类对象为参数的FlinkKafkaProducer010去构造函数时，运行时会报错。
Spark Structured Streaming状态操作样例程序（Scala） 功能介绍 在Spark结构流应用中，跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp；同时输出本批次被更新状态的session。 代码样例
在本地Windows环境中编包并运行Spark程序 操作场景 在程序代码完成开发后，您可以在Windows环境中运行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。 Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供。
两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如：“/opt/female/user
Spark执行应用时上报“Connection to ip:port has been quiet for xxx ms while there are outstanding requests”并导致应用结束 问题 Spark执行应用时上报如下类似错误并导致应用结束。 2016-04-20
安全集群使用HiBench工具运行sparkbench获取不到realm 问题 运行HiBench6的sparkbench任务，如Wordcount，任务执行失败。 “bench.log”中显示Yarn任务执行失败。 登录Yarn WebUI，查看对应application的失败信息，显示如下：
开启防误删后为什么Carbon表没有执行drop命令，回收站中也会存在该表的文件？ 问题 开启防误删下，为什么Carbon表没有执行drop table命令，回收站中也会存在该表的文件？ 回答 在Carbon适配防误删后，调用文件删除命令，会将删除的文件放入回收站中。 在insert、load等命令中会有中间文件
停止运行的RegionServer，在HMaster WebUI中显示的“Dead Region Servers”信息什么时候会被清除掉 问题 在HMaster Web UI中显示处于“Dead Region Servers”状态的RegionServer什么时候会被清除掉？ 回答
使用二次开发程序产生Unable to read HiveServer2异常如何处理 问题 使用二次开发程序产生异常，提示“Unable to read HiveServer2 configs from ZooKeeper”信息。 回答 问题原因 使用的krb5.conf、user
运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata...” 解决步骤 检查工程conf目录下“producer.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确： 如
在Linux环境中查看Spark程序调测结果 操作场景 Spark应用程序运行完成后，可通过如下方式查看应用程序的运行情况。 通过运行结果数据查看应用程序运行情况。 登录Spark WebUI查看应用程序运行情况。 通过Spark日志获取应用程序运行情况。 操作步骤 查看Spark应用运行结果数据。
Spark从HBase读取数据再写入HBase样例程序（Java） 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei
Spark从HBase读取数据再写入HBase样例程序（Scala） 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei
Spark从Hive读取数据再写入HBase样例程序（Java） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata
为什么Spark Streaming应用创建输入流，但该输入流无输出逻辑时，应用从checkpoint恢复启动失败 问题 Spark Streaming应用创建1个输入流，但该输入流无输出逻辑。应用从checkpoint恢复启动失败，报错如下： 17/04/24 10:13:57
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
