检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
erver实例主机名称。 在FusionInsight Manager首页，选择“集群 > 服务 > Guardian > 实例”，单击1获取的主机名称对应的TokenServer角色，单击图表区域右上角的下拉菜单，选择“定制 > RPC > TokenServer RPC处理平均时间”，单击“确定”。
务调度，执行端负责任务执行。 读取文件的过程如图1所示。 图1 读取文件过程 读取文件步骤的详细描述如下所示： Driver与HDFS交互获取File A的文件信息。 HDFS返回该文件具体的Block信息。 Driver根据具体的Block数据量，决定一个并行度，创建多个Task去读取这些文件Block。
应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件以及用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。 场景一：准备本地Windows开发环境调测程序所需配置文件。
DFS写入数据会失败。 可能原因 告警阈值配置不合理。 租户分配的文件目录数上限不合理 处理步骤 查看阈值设置是否合理 查看告警定位信息，获取上报告警的租户名称，租户目录。 在FusiongInsight Manager首页，单击“租户资源”页面选择上报告警的租户名称，单击“资源
rver实例的主机名称。 在FusionInsight Manager首页，选择“集群 > 服务 > Guardian > 实例”，单击1获取的实例主机名对应的TokenServer角色，单击图表区域右上角的下拉菜单，选择“定制 > RPC > TokenServer RPC队列平均时间”，单击“确定”。
conf）。user.keytab和krb5.conf文件为安全模式下的认证文件，需要在FusionInsight Manager中下载principal用户的认证凭证，样例代码中使用的用户为：super，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目
设置“缩容节点数量”，并单击“确定”。 缩容集群前需要检查集群安全组是否配置正确，要确保集群入方向安全组规则中有一条全部协议，全部端口，源地址为可信任的IP访问范围的规则。 若HDFS存在损坏的数据块，则缩容集群可能出现失败，请联系华为云支持人员处理。 页面右上角弹出缩容节点提交成功提示框。 集群缩容过程说明如下：
conf）。user.keytab和krb5.conf文件为安全模式下的认证文件，需要在FusionInsight Manager中下载principal用户的认证凭证，样例代码中使用的用户为：super，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目
是，处理完毕。 否，执行4。 检查网口速率是否满足需求。 打开FusionInsight Manager页面，在实时告警列表中，单击此告警所在行的，获取告警所在主机地址及网口。 以root用户登录告警所在主机，用户密码为安装前用户自定义，请咨询系统管理员。 执行命令ethtool 网口名称，查看当前网口速率最大值Speed。
行用户认证。集群未启用Kerberos认证（普通模式）请跳过该步骤。 kinit hdfs 按提示输入密码，用户密码可以向MRS集群管理员获取，首次认证需要修改密码。 执行以下命令退出HDFS安全模式。 hdfs dfsadmin -safemode leave 等待5分钟，检查该告警是否恢复。
在任务完成，日志归集失败后定时清除日志前，重启YARN，本地日志不被删除。 回答 NodeManager有重启恢复机制，详情请参见： https://hadoop.apache.org/docs/r3.1.1/hadoop-yarn/hadoop-yarn-site/NodeManager
2.0之前版本：https://hadoop.apache.org/docs/r3.1.1/hadoop-yarn/hadoop-yarn-site/NodeManager.html#NodeManager_Restart MRS 3.2.0及之后版本：https://hadoop
Sqoop常用命令介绍 表1 Sqoop常用命令介绍 命令 说明 import 数据导入到集群 export 集群数据导出 codegen 获取数据库中某张表数据生成Java并打包jar create-hive-table 创建Hive表 eval 执行sql并查看结果 import-all-tables
表名 原始数据条数 过滤后数据条数 选择率 date_dim 73000 6200 8.5% item 18000 19 0.1% 上述表格获取到原始表的数据条数，估算出过滤后的数据条数后，计算出选择率=过滤后条数/原始条数。 从上表可以看出，item表具有较好的过滤效果，因此CBO将item表的Join顺序提前。
硬盘离线、硬盘坏道等故障。 处理步骤 打开FusionInsight Manager页面，选择“运维 > 告警 > 告警”，单击此告警所在行的。 从“定位信息”中获取“主机名”、“设备分区名”和“挂载目录名”。 确认“主机名”节点的“设备分区名”对应的磁盘是否在对应服务器的插槽上。 是，执行4。 否，执行5。
source bigdata_env 如果集群采用安全版本，要执行以下命令进行安全认证： kinit hbase 按提示输入密码（向MRS集群管理员获取密码）。 执行hbase zkcli命令进入ZooKeeper客户端，然后执行命令listquota /hbase查看对应HBase服务的
InsertOverwrite数据不一致问题。 解决Superior调度器分配资源到用户时有可能会卡顿问题。 解决Yarn扩容导致性能劣化问题。 解决Yarn RETS API获取各个队列的资源反馈结果为0的问题。 解决Yarn RETS API并发查询队列详情的接口偶现查询结果为0的问题。 解决管控面提交Flink作业打印敏感日志的问题。
影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控，正常场景不涉及 耗时约5分钟 滚动重启 滚动重启不影响业务 滚动重启10个节点耗时约20分钟 DBService 直接重启 重启期间影响Hive获取元数据，影响组件获取配置 直接重启耗时约5分钟 滚动重启 滚动重启不影响业务
使用DBService 配置DBService HA模块的SSL 还原DBService HA模块的SSL配置 配置DBService备份任务超时时间 DBService日志介绍
监控Spark作业的大目录阈值，超过当前阈值就会上报事件。 单位：GB。 100 job.monitor.local.thread.pool 获取NodeManager的监控的大作业的信息的线程数。 50 max.job.count 事件中显示大作业的数量。 10 job.monitor
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
