检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Yarn-cluster模式下提交Spark任务报“Can't get the Kerberos realm”异常 问题背景与现象 认证异常导致提交Spark任务失败，报“Can't get the Kerberos realm”异常。 原因分析 在Driver端打印异常找不到连接HDFS的Token信息，报错如下：
create(Path f, boolean overwrite, String groupId,String locatorId) 用colocation模式，创建一个FSDataOutputStream，从而允许用户在f路径写文件。 “f”为HDFS路径。 overwrite表示如果文件已存在是否允许覆盖。
配置HDFS同分布策略（Colocation） 功能简介 同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性，将那些需进行关联操作的文件存放在相同数据节点上，在进行关联操作计算时避免了到别的数据节点上获取数据，大大降低网络带宽的占用。
调测Oozie应用 在本地Windows环境中调测Oozie应用 查看Oozie应用调测结果 父主题： Oozie开发指南（安全模式）
调测HDFS应用 在本地Windows中调测HDFS程序 在Linux环境中调测HDFS应用 父主题： HDFS开发指南（普通模式）
调测Flink应用 编译并调测Flink应用 查看Flink应用调测结果 调测Flink SpringBoot样例程序 父主题： Flink开发指南（安全模式）
调测Flink应用 编译并调测Flink应用 查看Flink应用调测结果 调测Flink SpringBoot样例程序 父主题： Flink开发指南（普通模式）
在Linux环境中调测HetuEngine应用 调测HetuEngine Python3应用 父主题： HetuEngine开发指南（安全模式）
在Linux环境中调测HetuEngine应用 调测HetuEngine Python3应用 父主题： HetuEngine开发指南（普通模式）
x及之后版本请参考配置Kafka数据均衡工具。 前提条件 MRS集群管理员已明确业务需求，并准备一个Kafka管理员用户（属于kafkaadmin组，普通模式不需要）。 已安装Kafka客户端，客户端安装目录如“/opt/client”。 本示例需创建两个Topic，可参考7，分别命名为“tes
存放用户信息的密钥文件。在安全模式下，应用程序采用此密钥文件进行API方式认证。 Client 客户端直接面向用户，可通过Java API、Shell API、 REST API或者Web UI访问Oozie服务端。 父主题： Oozie开发指南（安全模式）
NodeManger）所在业务节点网络互通 需对外开放Coordinator的IP，端口 支持范围：MRS 3.1.0及之后版本 父主题： HetuEngine开发指南（普通模式）
调测Hive SpringBoot样例程序 调测Hive Python样例程序 调测Hive Python3样例程序 父主题： Hive开发指南（普通模式）
WebHCat运行用户通过Rest API来执行Hive DDL，提交MapReduce任务，查询MapReduce任务执行结果等操作。 父主题： Hive开发指南（普通模式）
UI访问服务端，对HBase的表进行读写操作。本文中的HBase客户端特指HBase client的安装包，可参考HBase对外接口介绍。 父主题： HBase开发指南（普通模式）
3、本地提交 ，在本地执行应用程序，一般用来测试 * 命令行方式和远程方式安全和普通模式都支持 * 本地提交仅支持普通模式 * * 用户同时只能选择一种任务提交方式，默认命令行
NameNode启动失败 问题背景与现象 场景一：重启HDFS服务后，HDFS的状态为Bad，且NameNode实例状态异常，并且很久没有退出安全模式。 场景二：NameNode启动时，启动超时后启动失败，原生页面无法打开。 原因分析 在NameNode运行日志（/var/log/Big
调测Oozie应用 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。 父主题： Oozie开发指南（安全模式）
为什么主NameNode重启后系统出现双备现象 问题 为什么主NameNode重启后系统出现双备现象？ 出现该问题时，查看ZooKeeper和ZKFC的日志，发现ZooKeeper服务端与客户端（ZKFC）通信时所使用的session不一致，ZooKeeper服务端的sessio
SQLContext：是Spark SQL功能和DataFrame的主入口。 pyspark.sql.DataFrame：是一个以命名列方式组织的分布式数据集。 pyspark.sql.HiveContext：获取存储在Hive中数据的主入口。 pyspark.sql.DataFrameSta
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
