检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置YARN-Client和YARN-Cluster不同模式下的环境变量 配置场景 当前，在YARN-Client和YARN-Cluster模式下，两种模式的客户端存在冲突的配置，即当客户端为一种模式的配置时，会导致在另一种模式下提交任务失败。 为避免出现如上情况，添加表1中的配置项，避免两种模式下来回切换参数，提升软件易用性。
SQL中常用的类有： SQLContext：是Spark SQL功能和DataFrame的主入口。 DataFrame：是一个以命名列方式组织的分布式数据集。 HiveContext：获取存储在Hive中数据的主入口。 表6 常用的Actions方法 方法 说明 collect(): Array[Row]
SQL中常用的类有： SQLContext：是Spark SQL功能和DataFrame的主入口。 DataFrame：是一个以命名列方式组织的分布式数据集。 HiveContext：获取存储在Hive中数据的主入口。 表6 常用的Actions方法 方法 说明 collect(): Array[Row]
目录下的样例工程文件夹“flink-examples-normal”。 在安全模式下，获取“src\flink-examples”下的样例工程flink-examples-security。 在普通模式下，获取“src\flink-examples”下的样例工程flink-examples-normal。
lkLoad接口将rdd写入HFile中。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件（user.keytab、krb5.conf）。user.keytab和krb5.conf文件为安全模式下的认证文件，需要在FusionInsight Manager中
4f854bf4-ea54-4595-a9d9-9b9080779ffe //checkpoint源文件。 Flink在集群模式下checkpoint将文件放到HDFS，本地路径只支持Flink的local模式，便于调测。 运行Pipeline样例程序。 Java 启动发布者Job bin/flink run
调测Oozie应用 在本地Windows环境中调测Oozie应用 查看Oozie应用调测结果 父主题： Oozie开发指南（普通模式）
调测HBase应用 在本地Windows环境中调测HBase应用 在Linux环境中调测HBase应用 父主题： HBase开发指南（安全模式）
调测HDFS应用 在本地Windows环境中调测HDFS程序 在Linux环境中调测HDFS应用 父主题： HDFS开发指南（安全模式）
调测Doris应用 在本地Windows环境中调测Doris应用 在Linux环境中调测Doris应用 父主题： Doris开发指南（安全模式）
KafkaStreams API样例程序 调测Kafka Low Level KafkaStreams API样例程序 父主题： Kafka开发指南（普通模式）
调测Hive Python样例程序 调测Hive Python3样例程序 调测Hive SpringBoot样例程序 父主题： Hive开发指南（安全模式）
Streams样例程序 调测Kafka Token认证机制样例程序 调测Kafka SpringBoot样例程序 父主题： Kafka开发指南（安全模式）
Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，应用失败 问题 Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，执行应用时显示如下异常。
3、本地提交 ，在本地执行应用程序，一般用来测试 * 命令行方式和远程方式安全和普通模式都支持 * 本地提交仅支持普通模式 * * 用户同时只能选择一种任务提交方式，默认命令行
4f854bf4-ea54-4595-a9d9-9b9080779ffe //checkpoint源文件。 Flink在集群模式下checkpoint将文件放到HDFS，本地路径只支持Flink的local模式，便于调测。 运行Pipeline样例程序。 Java 启动发布者Job bin/flink run
协处理器 允许用户执行region级的操作，并且可以使用与RDBMS中触发器类似的功能。 keytab文件 存放用户信息的密钥文件。在安全模式下，应用程序采用此密钥文件进行API方式认证。 Client 客户端直接面向用户，可通过Java API、HBase Shell或者Web
下的样例工程文件夹“flink-examples-security”。 在安全模式下，获取“src\flink-examples”下的样例工程flink-examples-security。 在普通模式下，获取“src\flink-examples”下的样例工程flink-examples-normal。
Yarn-cluster模式下提交Spark任务报“Can't get the Kerberos realm”异常 问题背景与现象 认证异常导致提交Spark任务失败，报“Can't get the Kerberos realm”异常。 原因分析 在Driver端打印异常找不到连接HDFS的Token信息，报错如下：
keytab file 存放用户信息的密钥文件。应用程序采用此密钥文件在集群中进行API方式认证。 父主题： Kafka开发指南（普通模式）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
