检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
S集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 配置集群安全组规则。 在集群“概览”界面，选择“添加安全组规则
在本地Windows环境中查看Spark程序调试结果 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/D:/mavenlocal/org/apache/l
MapReduce访问多组件样例代码 功能介绍 主要分为三个部分： 从HDFS原文件中抽取name信息，查询HBase、Hive相关数据，并进行数据拼接，通过类MultiComponentMapper继承Mapper抽象类实现。 获取拼接后的数据取最后一条输出到HBase、HDF
停止运行的RegionServer，在HMaster WebUI中显示的“Dead Region Servers”信息什么时候会被清除掉 问题 在HMaster Web UI中显示处于“Dead Region Servers”状态的RegionServer什么时候会被清除掉？ 回答
块复制。 为了防止此情况，用户可以通过配置DataNodes来承受dfs.data.dir目录的故障。登录Manager，选择“集群 > 服务 > HDFS > 配置 > 全部配置”搜索参数“dfs.datanode.failed.volumes.tolerated”。例如：如果
为什么非static的KafkaPartitioner类对象去构造FlinkKafkaProducer010，运行时会报错？ 问题 Flink内核升级到1.3.0之后，当kafka调用带有非static的KafkaPartitioner类对象为参数的FlinkKafkaProdu
为什么Spark Streaming应用创建输入流，但该输入流无输出逻辑时，应用从checkpoint恢复启动失败 问题 Spark Streaming应用创建1个输入流，但该输入流无输出逻辑。应用从checkpoint恢复启动失败，报错如下： 17/04/24 10:13:57
Spark2x导出带有相同字段名的表，结果导出失败 问题 在Spark2x的spark-shell上执行如下语句失败： val acctId = List(("49562", "Amal", "Derry"), ("00000", "Fred", "Xanadu")) val rddLeft
对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群，spark-beeline登录后，指定location到OBS建表报错失败。 图1 错误信息 回答 HDFS上ssl.jceks文件权限不足，导致建表失败。
在Linux环境中查看Spark程序调测结果 操作场景 Spark应用程序运行完成后，可通过如下方式查看应用程序的运行情况。 通过运行结果数据查看应用程序运行情况。 登录Spark WebUI查看应用程序运行情况。 通过Spark日志获取应用程序运行情况。 操作步骤 查看Spark应用运行结果数据。
Spark从HBase读取数据再写入HBase样例程序（Python） 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 由于pyspark不提供Hbase相关ap
Spark从Hive读取数据再写入HBase样例程序（Scala） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata
Spark从Hive读取数据再写入HBase样例程序（Python） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 由于pyspark不提供Hbase相关api，本样例使用Python调用Java的方式实现。
Spark同时访问两个HBase样例程序开发思路 场景说明 spark支持同时访问两个集群中的HBase，前提是两个集群配置了互信。 数据规划 将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的“/etc/hosts”文件中。
执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出 问题 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出，日志内容如下。 16/04/19 15:56:22 ERROR
Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，应用失败 问题 Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，执行应用时显示如下异常。
Spark应用执行过程中，日志中一直打印getApplicationReport异常且应用较长时间不退出 问题 Spark应用执行过程中，当driver连接RM失败时，会报下面的错误，且较长时间不退出。 16/04/23 15:31:44 INFO RetryInvocationHandler:
Spark Structured Streaming对接Kafka样例程序（Scala） 功能介绍 使用Structured Streaming，从kafka中读取广告请求数据、广告展示数据、广告点击数据，实时获取广告有效展示统计数据和广告有效点击统计数据，将统计结果写入kafka中。
credentials.hbase.enabled”设置为“true”（该参数值默认为“false”，改为“true”后对已有业务没有影响。如果要卸载HBase服务，卸载前请将此参数值改回“false”）。 spark-submit --master yarn --deploy-mode client
Spark同时访问两个HBase样例程序（Scala） 以下为Spark同时访问两个HBase样例程序的Scala示例。 下面代码片段仅为演示。 具体代码参见：com.huawei.spark.examples.SparkOnMultiHbase def main(args: Array[String]):
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
