检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark多服务场景下，普通用户无法登录Spark客户端 问题 Spark存在多个服务场景时，当使用多服务时，普通用户无法登录spark-beeline。报错如下图所示： 原因 当Hive同时存在多场景服务时，普通用户不属于Hive用户组，没有Hive目录权限，导致无法登录。
下载并安装HDFS客户端，参见《准备Linux客户端运行环境》。 获取HDFS相关配置文件。获取方法如下。
当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
安装客户端时编译并运行HBase应用 HBase应用程序支持在安装HBase客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至Linux环境中运行应用。 前提条件 已安装HBase客户端。
当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
使用Yarn客户端提交任务。
回答 登录Spark客户端节点，修改“{客户端安装目录}Spark/spark/conf/log4j.properties”配置文件，修改参数“Log4j.rootCategory”值为“INFO”，如下所示： 重新启动spark-sql客户端。 父主题： Spark常见问题
对系统的影响 发生当前告警时，表示连接到MetaStore的session数过多，将会导致无法建立新的连接。 可能原因 连接MetaStore的客户端过多。 处理步骤 修改MetaStore的最大连接数配置。
如果IP地址连续，用“-”连接。例如：192.168.10.[10-20]。 如果IP地址分段连续，连续时用“-”连接，各IP地址段间用“,”隔开，例如：192.168.10.[10-20,30-40]。 说明： 如不指定，默认选择所有主机。 一次性输入最多10个表达式。
Spark Streaming任务提交问题 问题现象 连接Kafka报类找不到。 连接带Kerberos的Kafka，报认证错误。 SparkStreaming任务运行一段时间后开始报TOKEN过期问题。
登录ClickHouse客户端节点，连接ClickHouse服务端，具体请参考ClickHouse客户端使用实践章节。
负责向调用该类的python应用提供Spark的各种功能，如连接Spark集群、创建RDD、广播变量等。 pyspark.SparkConf：Spark应用配置类。如设置应用名称，执行模式，executor内存等。
Hive应用开发常用概念 客户端 客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Hive的相关操作。 HQL语言 Hive Query Language，类SQL语句。
如果不重新下载并安装客户端，则直接执行以下步骤更新Spark客户端配置文件（例如：客户端目录为“/opt/client”，具体以实际为准）： 以root用户登录Spark客户端所在的节点，切换到客户端安装目录。
为主Master节点绑定一个弹性IP并在安全组中放通22端口，具体请参考配置集群安全组规则，然后使用root用户登录主Master节点，进入客户端所在目录并加载变量。
已登录HBase Shell命令行，详细操作请参见HBase客户端使用实践。
待连接的IoTDBServer所在的节点IP地址，可通过登录FusionInsight Manager界面，选择“集群 > 服务 > IoTDB > 实例”查看。
操作场景 在python3程序代码完成开发后，可以在Windows环境或者上传到Linux环境进行调测，和集群业务平面网络互通时，可以直接在本地进行调测。
查看MySQL是否开启bin log： 使用工具或者命令行连接MySQL数据库（本示例使用Navicat工具连接），执行show variables like 'log_%'命令查看。
log4j.logger.DUAL=debug,DUAL log4j.appender.DUAL=org.apache.log4j.RollingFileAppender log4j.appender.DUAL.File=/var/log/dual.log //客户端本地双读日志路径
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
