检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
停日志） audit： “/var/log/Bigdata/loader/audit”（审计日志） 日志归档规则： Loader的运行日志和审计日志，启动了自动压缩归档功能，默认情况下，当日志大小超过10MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>
zkNamespace + ";"); val url = sb.toString() 加载Hive JDBC驱动。获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper
r新建连接则需要重新认证，否则就会执行失败。因此，若长期执行应用过程中需要新建连接，用户需要在“url”中添加user.principal和user.keytab认证信息，以保证每次建立连接时认证成功，例如，“url”中需要加上“user.principal=sparkuser;user
Settings”。 在弹出的“Settings”窗口左边导航上选择“Editor > File Encodings”，在“Global Encoding”和“Project Encodings”区域，设置参数值为“UTF-8”，单击“Apply”后，单击“OK”，如图4 设置IntelliJ IDEA的编码格式所示。
并且MRS Manager上没有正在运行的任务。 安装补丁过程中，不允许在作业管理页面提交作业。 安装补丁过程包括组件重启，支持滚动重启和离线重启，请选择合适的方法，重启过程不能省略。 补丁安装后操作不能省略，若没有执行此操作，会影响Spark、HDFS、Flink等组件的补丁生效，会导致Spark
并且MRS Manager上没有正在运行的任务。 安装补丁过程中，不允许在作业管理页面提交作业。 安装补丁过程包括组件重启，支持滚动重启和离线重启，请选择合适的方法。重启过程不能省略。 补丁安装后操作不能省略，若没有执行此操作，会影响Spark、HDFS、Flink等组件的补丁生效，会导致Spark
gionServer/install/hbase/lib目录下面有两个Phoenix包（phoenix-4.14.1-server.jar和phoenix-core-4.14.1.jar）包含这个类。 使用scp命令将上述两个包拷贝到异常RegionServer节点上相同目录下，
停日志） audit： “/var/log/Bigdata/loader/audit”（审计日志） 日志归档规则： Loader的运行日志和审计日志，启动了自动压缩归档功能，默认情况下，当日志大小超过10MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>
提供shell命令 HDFS Shell命令介绍 完成HDFS文件系统的基本操作。 HTTP REST API 提供除Shell、Java API和C API以外的其他接口，可通过此接口 HDFS HTTP REST API接口介绍 监控HDFS状态等信息。 WEB UI 提供Web可视化组件管理界面。
到Oracle官方网站获取与JDK版本对应的JCE（Java Cryptography Extension）文件。JCE文件解压后包含“local_policy.jar”和“US_export_policy.jar”。拷贝jar包到如下路径。 Linux：JDK安装目录/jre/lib/security Win
L防御策略，实现对典型大SQL、低质量SQL的主动防御，包括事前拦截和事中熔断，并不强制改变用户的SQL提交方式、SQL语法，对业务零改动且易落地。 支持管理员界面化配置SQL防御策略，同时可支持防御规则的查询和修改。 每个SQL引擎在进行SQL业务响应、执行过程中，基于SQL防御策略进行主动防御行为。
集群的KrbServer服务运行状态正常。 获取集群外的节点root用户密码。 集群已规划并添加“人机”用户，并获取认证凭据文件。请参见创建用户（MRS 3.x及之后版本）和下载MRS集群用户认证凭据文件。 配置集群外节点用户访问普通模式集群资源 以root用户登录到需要添加用户的节点。 执行以下命令： rpm -qa
并且MRS Manager上没有正在运行的任务。 安装补丁过程中，不允许在作业管理页面提交作业。 安装补丁过程包括组件重启，支持滚动重启和离线重启，请选择合适的方法。重启过程不能省略。 补丁安装后操作不能省略，若没有执行此操作，会影响Spark、HDFS、Flink等组件的补丁生效，会导致Spark
并且MRS Manager上没有正在运行的任务。 安装补丁过程中，不允许在作业管理页面提交作业。 安装补丁过程包括组件重启，支持滚动重启和离线重启，请选择合适的方法，重启过程不能省略。 补丁安装后操作不能省略，若没有执行此操作，会影响Spark、HDFS、Flink等组件的补丁生效，会导致Spark
hdfs-recover-fsimage.log NameNode元数据恢复日志。 datanode-disk-check.log 集群安装过程和使用过程中磁盘状态检测的记录日志。 hdfs-availability-check.log HDFS服务是否可用日志。 hdfs-backup-fsimage
zkNamespace + ";"); val url = sb.toString() 加载Hive JDBC驱动。获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper
常用CLI Spark常用的CLI如下所示： spark-shell 提供了一个简单学习API的方法，类似于交互式数据分析的工具。同时支持Scala和Python两种语言。在Spark目录下，执行./bin/spark-shell即可进入Scala交互式界面从HDFS中获取数据，再操作RDD。
解决异常导致Map数量和Reduce数量都为0时，中断任务问题 解决Hive向量化if语句中Output column number expected to be 0 when isRepeating报错问题 解决Hive向量化if语句中由于数据被覆盖导致数据错误和NPE问题 解决开
磁盘分区说明如表1所示。 表1 MRS集群节点OS盘分区说明 分区类型 分区目录 容量 用途 OS分区 / 220GB 操作系统根分区目录和程序存放目录，包括了所有目录（除去下面指定的目录）。 /tmp 10GB 临时文件存放目录。 /var 10GB 操作系统运行目录。 /var/log
use业务用户关联，具体请参见添加MRS租户章节。 配置ClickHouse SQL防御使用约束 防御规则默认动态生效时间为1分钟。 拦截和熔断规则会中断SQL查询，请根据实际业务配置合理的值。 ClickHouse相关规则配置后，需要重新登录客户端生效。 配置ClickHouse
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
