检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ent”。 cd /opt/client 执行以下命令，配置环境变量。 source bigdata_env 连接Presto Server。根据客户端的不同，提供如下两种客户端的链接方式。 使用MRS提供的客户端。 未启用Kerberos认证的集群，执行以下命令连接本集群的Presto
yarn.app.mapreduce.am.command-opts 传递到MapReduce ApplicationMaster的JVM启动参数。 -Xmx1024m -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -verbose:gc
告警属性 告警ID 告警级别 是否自动清除 12048 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 网口名 产生告警的网口名。 Trigger Condition
/opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户，当前用户需要具有创建HBase表的权限，具体请参见创建角色配置拥有对应权限的角色，参考创建用户为用户绑定对应角色。如果当前集群未启用Kerberos认证，则无需执行此命令。
实现可用子网IP的扩充。切换子网不会影响当前已有节点的IP地址和子网。 如需对网络ACL出规则进行配置请参考如何配置网络ACL出规则？。 未关联网络ACL时切换子网 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 在“网络信息”区
ze”的值为“TagSync使用的直接内存大小”的两倍（可根据实际业务场景进行修改）。 重新启动受影响的服务或实例，观察界面告警是否清除。 是，处理完毕。 否，执行6。 重启服务期间服务不可用，业务中断。重启实例期间实例不可用，当前实例节点任务会执行失败。 收集故障信息。 在FusionInsight
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 NameNode无法及时处理来自HDFS客户端、依赖于HDFS的上层服务、DataNode等的RPC请求，表现为访问HDFS服务的业务运行缓慢，严重时会导致HDFS服务不可用。 可能原因 NameNode节点的CPU性能不足，导致NameNode无法及时处理消息。
文件中所列出的各主机在网络上互通。 在本实践中，需要确保本地环境与MRS集群所在网络平面互通，通常可以通过绑定EIP的方式访问MRS集群，具体操作请参考配置Windows通过EIP访问集群HBase。 如果本地开发环境与MRS集群内节点网络不通，也可以将样例工程编译后，将jar包
此时需要平衡节点磁盘间的数据密度，防止异构的小磁盘成为该节点的性能瓶颈。 本章节适用于MRS 3.x及后续版本。 配置描述 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 dfs.disk.balancer
/opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户，当前用户需要具有创建HBase表的权限，具体请参见创建角色配置拥有对应权限的角色，参考创建用户为用户绑定对应角色。如果当前集群未启用Kerberos认证，则无需执行此命令。
对应的机器ip和port为空引起的，出现该问题的时候使用hdfs fsck检查对应文件块的健康状态，删除损坏或者恢复丢失的块，重新进行任务计算即可。 父主题： HDFS故障排除
用于ApplicationMaster与NodeManager之间。ApplicationMaster使用该协议要求NodeManager启动/中止Container或者查询Container的运行状态。 表3 ContainerManagementProtocol常用方法 方法
public String run(Properties conf) 运行job public void start(String jobId) 启动指定的job public String submit(Properties conf) 提交job public void kill(String
fka输入源。 如果提交应用的同时开启Kafka后进先出和流控功能，对于B段时间进入Kafka的数据，将不启动流控功能，以确保读取这些数据的任务调度优先级最低。应用重新启动后C段时间的任务启用流控功能。 配置描述 在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。
量过大导致在运行过程中内存不足，服务端对客户端的响应过慢。在RegionServer的配置文件“hbase-site.xml”中需要调整如下对应的内存分配参数。 表1 RegionServer内存调整参数 参数 描述 默认值 GC_OPTS 在启动参数中给RegionServer分配的初始内存和最大内存。
以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。 source bigdata_env 执行以下命令，进行用户认证。 kinit 组件业务用户 执行以下命令，切换到Kafka客户端安装目录。
在Spark应用执行过程中NodeManager出现OOM异常 问题 当开启Yarn External Shuffle服务时，在Spark应用执行过程中，如果当前shuffle连接过多，Yarn External Shuffle会出现“java.lang.OutofMemoryError:
e”的值为“UserSync使用的直接内存大小”的两倍（可根据实际业务场景进行修改）。 重新启动受影响的服务或实例，观察界面告警是否清除。 是，处理完毕。 否，执行6。 重启服务期间服务不可用，业务中断。重启实例期间实例不可用，当前实例节点任务会执行失败。 收集故障信息。 在FusionInsight
TABLE src COMPUTE STATISTICS 生成sizeInBytes和rowCount。 使用ANALYZE语句收集统计信息时，无法计算非HDFS数据源的表的文件大小。 生成表级别统计信息（不扫表）： ANALYZE TABLE src COMPUTE STATISTICS
户权限。 处理步骤 登录Ranger WebUI界面。 在“Service Manager”区域内，单击Hive组件名称，进入Hive组件安全访问策略列表页面。 分别单击“all - database”和“default database tables columns”策略所在行的按钮。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
