检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
zk.quorum：为访问ZooKeeper quorumpeer的地址，请修改为集群部署有FusionInsight ZooKeeper服务的IP地址。 访问开源 ZooKeeper 使用“testConnectApacheZk”连接开源ZooKeeper的代码，只需要将以下代码中的“xxx
为什么在启动spark-beeline的命令中指定“--hivevar”选项无效 问题 为什么在启动spark-beeline的命令中指定“--hivevar”选项无效？ 在MRS集群启动spark-beeline的命令中如果使用了“--hivevar <VAR_NAME>=<v
表1 参数说明 参数 描述 默认值 dfs.namenode.delegation.token.renew-interval 该参数为服务器端参数，设置token renew的时间间隔，单位为毫秒。 86400000 父主题： Spark Streaming
MapReduce任务运行失败，ApplicationMaster出现物理内存溢出异常 问题 HBase bulkload任务有210000个map和10000个reduce，MapReduce任务运行失败，ApplicationMaster出现物理内存溢出异常。 For more
程中的一个辅助服务。通过该服务来抓取shuffle数据，减少了Executor的压力，在Executor GC的时候也不会影响其他Executor的任务运行。 操作步骤 登录FusionInsight Manager系统。 选择“集群 > 待操作集群的名称 > 服务 > Spark2x
server2_zk。 单击“保存”，在弹出对话框单击“确定”。 选择“集群 > 待操作集群的名称 > 服务 > Hive”，选择“更多 > 重启服务”，输入密码开始重启服务。 使用beeline -u 的方式登录客户端，执行以下命令： beeline -u "jdbc:hive2://10
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults
Spark Java API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： JavaSparkContext：是Spark的对外接口，负责向调用该类的Jav
”，单击“保存”，单击“确定”，重启HDFS服务。 “HTTP_ONLY”默认是勾选的。 操作步骤 登录FusionInsight Manager页面，单击“集群 > 待操作集群的名称 > 服务”，选择“HDFS”，单击进入HDFS服务状态页面。 由于webhdfs是http访问
Structured Streaming 任务提交方式变更 问题 用户提交结构流任务时，通常需要通过--jars命令指定kafka相关jar包的路径，例如--jars /kafkadir/kafka-clients-x.x.x.jar,/kafkadir/kafka_2.11-x
zk.quorum：为访问ZooKeeper quorumpeer的地址，请修改为集群部署有FusionInsight ZooKeeper服务的IP地址。 访问开源 ZooKeeper 使用“testConnectApacheZk”连接开源ZooKeeper的代码，只需要将以下代码中的“xxx
获取ZooKeeper的IP列表和端口、集群的认证模式、HiveServer的SASL配置、HiveServer在ZooKeeper中节点名称、客户端对服务端的发现模式、以及服务端进程认证的principal。这些配置样例代码会自动从“hiveclient.properties中”读取。 //zkQuorum获取后的格式为"xxx
如果不包含，将上述内容添加到配置项末尾处。 查看调测结果 通过MapReduce服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Mapreduce ＞ JobHistoryServer”进入Web界面后查看任务执行状态。
Spark Core样例程序（Java） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类：
Spark SQL样例程序（Scala） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection： object
Spark SQL样例程序（Python） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见SparkSQLPythonExample： # -*- coding:utf-8 -*- import sys from
两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如：“/opt/female/user
Spark Core样例程序（Java） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类：
Spark SQL样例程序（Java） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection： public
如何处理自动加载的依赖包 问题 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？ 回答 建议在导入工程后，手动删除自动加载的依赖。步骤如下：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
