检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
yarn-client模式下 在除--jars参数外，在客户端“spark-defaults.conf”配置文件中，将“spark.driver.extraClassPath”参数值中添加客户端依赖包路径，如“$SPARK_HOME/jars/streamingClient010/
回答 在Spark客户端中执行以下命令设置“spark.sql.convert.special.datetime”参数即可兼容之前的语法。 set spark.sql.convert.special.datetime=true; 父主题： Spark故障排除
否 HBase批量导入任务失败 /user/hbase 临时目录 HBase批量导入工具临时目录 否 HBase批量导入任务失败 /spark2xJobHistory2x 固定目录 Spark2x eventlog数据存储目录 否 HistoryServer服务不可用，任务运行失败
回答 在客户端执行如下命令刷新目录： oozie admin -oozie https://xxx.xxx.xxx.xxx:21003/oozie -sharelibupdate 父主题： Oozie常见问题
MapReduce开源增强特性：History Server优化解决日志小文件问题 运行在Yarn上的作业在执行完成后，NodeManager会通过LogAggregationService把产生的日志收集到HDFS上，并从本地文件系统中删除。
其中JDBCServer的连接方式也有Beeline和JDBC客户端代码两种。详情请参见Spark JDBCServer接口介绍。
安装IntelliJ IDEA和JDK工具后，需要在IntelliJ IDEA配置JDK。 打开IntelliJ IDEA，选择“Configure”。 图2 Quick Start 在下拉框中选择“Project Defaults > Project Structure”。
选择不同的备份目录时，对应设置如下： “LocalDir”：表示备份文件保存在主管理节点的本地磁盘上。选择此参数值，还需要配置“源端路径”，表示备份文件保存位置的完整路径。
FlinkPipelineScalaExample FlinkSqlJavaExample 使用客户端通过jar作业提交SQL作业的应用开发示例。 FlinkStreamJavaExample DataStream程序的应用开发示例。
FlinkPipelineScalaExample FlinkSqlJavaExample 使用客户端通过jar作业提交SQL作业的应用开发示例。 FlinkStreamJavaExample DataStream程序的应用开发示例。
用户可以通过以下命令查看YARN用法和帮助： yarn --help 用法：进入Yarn客户端的任意目录，执行source命令导入环境变量，直接运行命令即可。
FlinkSQL Hive表开发规则 提前在Hive中创建表 Flink作业在Hive中找不到对应表会报错，所以需要提前在Hive客户端创建好对应的表。 FlinkServer对接Hive使用对接MetaStore的方式，故需要Hive开启MetaStore功能。
catalog、schema分别是JDBC客户端要连接的catalog和schema名称。 HSBroker_IP:HSBroker_Port是HSBroker的URL，多个URL以逗号隔开。
使用root用户登录安装了集群客户端的节点。
使用集群安装用户登录集群客户端节点。
具体的配置方法如下： 用户可登录FusionInsight Manager，单击“集群 > 服务 > Yarn > 配置”，单击“全部配置”，单击“NodeManager > 系统”，在“GC_OPTS”参数中修改配置。
处理步骤 登录任意Master节点。 修改Spark客户端目录下的配置文件。
用户可以通过以下命令查看YARN用法和帮助： yarn --help 用法：进入Yarn客户端的任意目录，执行source命令导入环境变量，直接运行命令即可。
HADOOP_CONF_DIR=${BIGDATA_HOME}/FusionInsight_HD_8.1.2.2/1_10_NodeManager/etc rmadmin 管理员工具（动态更新信息）。
回答 查看登录Hue WebUI的用户是否具有“hadoop”用户组权限。 查看HDFS服务是否安装了HttpFS实例且运行正常。如果未安装HttpFS实例，需手动安装并重启Hue服务。 父主题： Hue常见问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
