检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
examples.DstreamKafkaWriter： Spark版本升级后，推荐使用新接口createDirectStream，老接口createStream仍然存在，但是性能和稳定性差，建议不要使用老接口开发应用程序。 该样例代码只存在于mrs-sample-project-1
PreLogin类，实现的功能相同，只是认证方式有区别。JDBCExample使用JDBC连接中拼接keytab的方式进行认证；JDBCExamplePreLogin的JDBC连接中不包含认证信息，使用Hadoop通用接口UserGroupInformation认证。 根据实际情
jar。当前版本用户除了这一步外还需要额外的配置项，否则会报class not found异常。 回答 当前版本的Spark内核直接依赖于kafka相关的jar包（结构流使用），因此提交结构流任务时，需要把Kafka相关jar包加入到结构流任务driver端的库目录下，确保driver能够正常加载kafka包。
不存在该环境变量，则设置为spark.local.dir的值，若此配置还不存在，则使用java.io.tmpdir的值。客户端默认配置中spark.local.dir被设置为/tmp，因此默认使用系统/tmp目录。 但存在一些特殊情况，如driver进程未正常退出，比如被kill
由于clean和archivelog对资源要求较小，为避免资源浪费，使用DataArts调度的话可以compaction作为一个任务，clean、archive作为一个任务分别配置不同的资源执行来节省资源使用。 执行资源 Compaction调度的间隔应小于Compaction
不存在该环境变量，则设置为spark.local.dir的值，若此配置还不存在，则使用java.io.tmpdir的值。客户端默认配置中spark.local.dir被设置为/tmp，因此默认使用系统/tmp目录。 但存在一些特殊情况，如driver进程未正常退出，比如被kill
不存在该环境变量，则设置为spark.local.dir的值，若此配置还不存在，则使用java.io.tmpdir的值。客户端默认配置中spark.local.dir被设置为/tmp，因此默认使用系统/tmp目录。 但存在一些特殊情况，如driver进程未正常退出，比如被kill
jar。当前版本用户除了这一步外还需要额外的配置项，否则会报class not found异常。 回答 当前版本的Spark内核直接依赖于Kafka相关的jar包（结构流使用），因此提交结构流任务时，需要把Kafka相关jar包加入到结构流任务driver端的库目录下，确保driver能够正常加载kafka包。
setReducerClass(CollectionReducer.class); // 设置combiner类，默认不使用，使用时通常使用和reduce一样的类。 // Combiner类需要谨慎使用，也可以通过配置文件指定。 job.setCombinerClass(CollectionReducer
setReducerClass(CollectionReducer.class); // 设置combiner类，默认不使用，使用时通常使用和reduce一样的类。 // Combiner类需要谨慎使用，也可以通过配置文件指定。 job.setCombinerClass(CollectionReducer
Maven的clean和compile 单击“Run 'Demo.main()'”运行应用程序工程。 图6 运行程序 查看调测结果 ClickHouse应用程序运行完成后，可通过以下方式查看程序运行情况： 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况，即“logs”目录下的日志
OozieSparkHBaseExample和OozieSparkHiveExample样例工程，请参考使用Oozie调度Spark访问HBase以及Hive。 使用客户端上传Oozie的example文件到HDFS。 登录客户端所在节点，切换到客户端所在目录，例如“/opt/client”。
登录HDFS客户端。 cd 客户端安装目录 source bigdata_env 在Linux系统HDFS客户端使用命令hdfs dfs -mkdir /tmp/input 在Linux系统HDFS客户端使用命令hdfs dfs -putlocal_filepath /tmp/input 开发思路
source bigdata_env kinit 组件业务用户 在Linux系统HDFS客户端使用命令hdfs dfs -mkdir /tmp/input 在Linux系统HDFS客户端使用命令hdfs dfs -putlocal_filepath /tmp/input 开发思路
keytab文件位置请根据自己实际路径填写。 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs dfs命令有同样的作用），创建对应目录。 在Linux系统HDFS客户端使用命令hadoop fs -put input_xxx.txt /tmp/input，上传数据文件。
source bigdata_env kinit 组件业务用户 在Linux系统HDFS客户端使用命令hdfs dfs -mkdir /tmp/input 在Linux系统HDFS客户端使用命令hdfs dfs -putlocal_filepath /tmp/input 开发思路
不存在该环境变量，则设置为spark.local.dir的值，若此配置还不存在，则使用java.io.tmpdir的值。客户端默认配置中spark.local.dir被设置为/tmp，因此默认使用系统/tmp目录。 但存在一些特殊情况，如driver进程未正常退出，比如被kill
jar。当前版本用户除了这一步外还需要额外的配置项，否则会报class not found异常。 回答 当前版本的Spark内核直接依赖于Kafka相关的jar包（结构流使用），因此提交结构流任务时，需要把Kafka相关jar包加入到结构流任务driver端的库目录下，确保driver能够正常加载kafka包。
确保本地的hosts文件中配置了远程集群所有主机的主机名和业务IP映射关系。 操作步骤 修改WordCountTopology.java类，使用remoteSubmit方式提交应用程序。并替换Jar文件地址。 使用remoteSubmit方式提交应用程序 public static void main(String[]
jar。当前版本用户除了这一步外还需要额外的配置项，否则会报class not found异常。 回答 当前版本的Spark内核直接依赖于kafka相关的jar包（结构流使用），因此提交结构流任务时，需要把Kafka相关jar包加入到结构流任务driver端的库目录下，确保driver能够正常加载kafka包。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
