检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
org.apache.hadoop.io.compress.GzipCodec 如需要全局设置，即对所有表都进行压缩，可以在Manager页面对Hive的服务配置参数进行如下全局配置： hive.exec.compress.output设置为true mapreduce.output
读写性能。 可能原因 HDFS DataNode实例磁盘IO速率低、HDFS DataNode自身处理能力到达瓶颈。 HDFS各DataNode实例之间网络传输速率低。 处理步骤 检查是否DataNode实例磁盘IO速率低。 登录FusionInsight Manager界面，选择“运维
处理步骤 参考“添加租户”章节新建一个队列给oozie使用，也可以直接使用创建MRS集群时生成的launcher-job队列。 在Manager页面选择“集群 > 服务 > Oozie > 配置”，搜索参数“oozie.site.configs”，在值列添加名称“oozie.launcher
单击“Apply”。 选择“Modules”，在“Source”页面，修改“Language level”为“8 - Lambdas, type annotations etc.”。 在“Dependencies”页面，修改“Module SDK”为“SDKs”中添加的JDK。 单击“Apply”，单击“OK”。
hprof ZooKeeper内存溢出日志。 funcDetail.log ZooKeeper实例启动日志。 zookeeper-period-check.log ZooKeeper实例健康检查日志。 zookeeper-period-check-java.log ZooKeeper配额监控周期检查日志。
used，最近最少使用）缓存来优化缓存内存。在driver中，B-Tree LRU缓存配置将有助于通过释放未被访问或未使用的表segments来释放缓存。类似地，在executor中，B-Tree LRU缓存配置将有助于释放未被访问或未使用的表blocks。具体可参考表2中的参数“carbon.max.driver
安全模式，则执行以下命令，完成用户认证并登录Hive客户端。 kinit 组件业务用户 beeline 普通模式，则执行以下命令，登录Hive客户端。 使用指定组件业务用户登录Hive客户端。 beeline -n 组件业务用户 不指定组件业务用户登录Hive客户端，则会以当前操作系统用户登录。 beeline
安全模式，则执行以下命令，完成用户认证并登录Hive客户端。 kinit 组件业务用户 beeline 普通模式，则执行以下命令，登录Hive客户端。 使用指定组件业务用户登录Hive客户端。 beeline -n 组件业务用户 不指定组件业务用户登录Hive客户端，则会以当前操作系统用户登录。 beeline
询时未限定时间范围，则会导致查询冷数据。在这种情况下，查询吞吐量会受到冷存储的限制。 冷存储中的数据常用于归档，会很少访问。如果冷存储中的数据被大量频繁请求访问，请检查冷热数据边界（COLD_BOUNDARY）配置是否正确。如果频繁查询的大量数据在冷存储中将会限制查询的性能。 如
HetuEngine > 实例”，单击角色列表的HSBroker实例，选择“更多 > 重启实例”。 待HSBroker实例重启后，选择“集群 > 服务 > HetuEngine”在 概览页面单击“HSConsole WebUI”后的链接，进入计算实例界面。 选择待重启的计算实例，单击“停止”
情况。 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Kafka > 实例”，将运行状态为“正在恢复”的Broker实例停止并记录实例所在节点的管理IP地址以及对应的“broker.id”，该值可通过单击角色名称，在“实例配置”页
单击“Apply”。 选择“Modules”，在“Source”页面，修改“Language level”为“8 - Lambdas, type annotations etc.”。 图5 配置Modules 在“Dependencies”页面，修改“Module SDK”为“SDKs”中添加的JDK。
000ms），然后根据相关过滤器调整退避时间（单次退避最长时间为50000ms）。 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。 表1 NameNode ECN配置 参数 描述 缺省值 dfs.pipeline.ecn 进行该配置后，DataNode能够向客户端发送阻塞通知。
000ms），然后根据相关过滤器调整退避时间（单次退避最长时间为50000ms）。 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。 表1 NameNode ECN配置 参数 描述 缺省值 dfs.pipeline.ecn 进行该配置后，DataNode能够向客户端发送阻塞通知。
Impala > 查询任务总数统计 > 提交中的查询总数”，检查阈值大小。 修改阈值大小。 选择“实例”页签，勾选所有“Impalad”实例并重启。 重启全部实例，服务不可用。重启单个实例，会导致当前实例节点正在执行的任务失败，服务可用。 重启完成后检查告警是否消失。 是，操作结束。 否，执行5。
否，执行7。 请检查虚拟化环境提供的存储性能是否满足硬件要求，检查完毕之后执行5。 以root用户登录告警节点，执行df -h命令，查看输出内容是否包含“磁盘名”字段的值，用户密码为安装前用户自定义，请咨询系统管理员。 是，执行7。 否，执行6。 执行lsblk命令，是否可以查到“磁盘名”字段值与磁盘设备的映射关系。
Impala > 查询任务总数统计 > 等待中的查询总数”，检查阈值大小。 修改阈值大小。 选择“实例”页签，勾选所有“Impalad”实例并重启。 重启全部实例，服务不可用。重启单个实例，会导致当前实例节点正在执行的任务失败，服务可用。 重启完成后检查告警是否消失。 是，操作结束。 否，执行5。
个executor的shuffle结果就会报文件找不到。 因此，遇到这样的问题需要确认是否executor异常退出，可以根据spark任务页面的executors便签页查看是否有dead状态的executor，查看各个dead状态的executor日志，确认异常退出的原因（其中可
rk2x服务中，用户从Manager页面下载包含Spark/Spark2x服务的客户端即可，例如客户端安装目录为“/opt/hadoopclient”。 如果集群已开启Kerberos认证，已在Manager界面创建1个人机用户并关联到hadoop和hive用户组，主组为hadoop。
若您需要设置“yarn.app.attempt.diagnostics.limit.kc”参数值，具体操作参考修改集群服务配置参数，进入Yarn“全部配置”页面，在搜索框搜索以下参数。 表1 参数描述 参数 描述 默认值 yarn.app.attempt.diagnostics.limit.kc
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
