检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对系统的影响 更改NodeManager角色的存储目录需要停止并重新启动集群，集群未启动前无法提供服务。 更改NodeManager单个实例的存储目录需要停止并重新启动实例，该节点NodeManager实例未启动前无法提供服务。 服务参数配置如果使用旧的存储目录，需要更新为新目录。 更
检查Impala依赖的服务是否正常。 在FusionInsight Manager首页，选择“集群 > 服务”，查看Hive、KrbServer是否已停止。 是，启动已停止的服务，执行2。 否，执行3。 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，在告警列表
jars路径。文档中提供的示例代码，其运行依赖包在客户端jars中已存在。 Spark Launcher的方式依赖Spark客户端，即运行程序的节点必须已安装Spark客户端，且客户端可用。运行过程中依赖客户端已配置好的环境变量、运行依赖包和配置文件， 在Spark应用程序运行节点，执行如下命令使用Spark
输出：原字段，但值已经被替换 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段名 配置可能出现空值的字段名，需填写已生成的字段名。 string 是 无 替换值 配置替换空值的指定值。 string 是 无 数据处理规则 字段原值为null时，替换成指定的值。
不同条件的优先级由高到低为：拒绝例外条件 > 拒绝条件 > 允许例外条件 > 允许条件。 系统判断流程可参考下图所示，如果组件资源请求未匹配到Ranger中的权限策略，系统默认将拒绝访问。但是对于HDFS和Yarn，系统会将决策下放给组件自身的访问控制层继续进行判断。 例如要
过将Hash分桶后数据量很大的、且超过数据倾斜阈值的分桶拆散，变成多个task处理一个桶的数据机制，提高CPU资源利用率，提高系统性能。 未产生倾斜的数据，将采用原有方式进行分桶并运行。 使用约束： 只支持两表Join的场景。 不支持FULL OUTER JOIN的数据倾斜处理。
分区。 性能降低：如果磁盘分区过于拥挤，可能会导致系统性能降低。扩容失败后，磁盘仍然过于拥挤，可能会继续影响系统性能。 可能原因 当前系统未安装growpart扩容工具。 系统执行磁盘分区扩容命令失败。 处理步骤 检查当前系统是否安装growpart扩容工具。 登录FusionInsight
执行以下命令关闭客户端日志： set hive.server2.logging.operation.enabled=false; 执行以下命令查看客户端日志是否已关闭，如下图所示即为关闭成功。 set hive.server2.logging.operation.enabled; 父主题： Hive常见问题
检查自动恢复重试存在重试次数限制，最终导致meta表上线失败。因此，HDFS退出安全模式后，需要手动介入进行恢复。 处理步骤 确认HDFS已解决相关异常问题，退出安全模式。 登录FusionInsight Manager页面，选择“集群 > 服务 > HBase”，在概览界面选择“更多
执行以下命令关闭客户端日志： set hive.server2.logging.operation.enabled=false; 执行以下命令查看客户端日志是否已关闭，如下图所示即为关闭成功。 set hive.server2.logging.operation.enabled; 父主题： Hive常见问题
一般来说当所有Map任务都启动运行以后，退出BulkLoad客户端也不会导致已提交的作业失败。但由于Map任务存在重试机制和推测执行机制；Reduce任务下载一个已运行完成的Map任务的数据失败次数过多时，Map任务也会被重新执行。如果此时BulkLoad客户端已经退出，则重试的Map任务会因为找不到p
jars路径。文档中提供的示例代码，其运行依赖包在客户端jars中已存在。 Spark Launcher的方式依赖Spark客户端，即运行程序的节点必须已安装Spark客户端，且客户端可用。运行过程中依赖客户端已配置好的环境变量、运行依赖包和配置文件， 在Spark应用程序运行节点，执行如下命令使用Spark
”、“INFO”、“WARN”、“ERROR”和“FATAL”信息。 由于开源中定义的不同，组件的日志级别定义略有差异。 验证日志级别设置已生效，请下载日志并查看。请参见下载MRS集群日志（MRS 3.x及之后版本）。 修改服务日志级别与日志文件大小 KrbServer，Ldap
输出：原字段，但值已经被替换 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段名 配置可能出现空值的字段名，需填写已生成的字段名。 string 是 无 替换值 配置替换空值的指定值。 string 是 无 数据处理规则 字段原值为null时，替换成指定的值。
示此FE已经恢复正常： 在FusionInsight Manager页面，选择“集群 > 服务 > 实例”，勾选非Master且运行状态为未启动的FE实例，选择“更多 > 删除实例”： 删除成功后，单击“添加实例”，重新添加6删除了的FE实例。 勾选配置过期的实例，选择“更多 >
节点映射，在客户端节点执行命令： ping sparkui的IP 如果ping不通，检查映射配置与网络设置。 可能原因二：客户端节点防火墙未关闭。 解决方法： 执行如下命令可查看是否关闭： systemctl status firewalld（不同的操作系统查询命令不一致，此命令以CentOS为例）
以客户端安装用户登录安装了HDFS和HBase客户端的节点，并执行以下命令： cd 客户端安装目录 source bigdata_env kinit 组件业务用户（若集群未启用Kerberos认证（普通模式），请跳过该操作） 查看损坏的StoreFile文件。 执行以下命令检查HDFS的“/hbase/auto
不同条件的优先级由高到低为：拒绝例外条件 > 拒绝条件 > 允许例外条件 > 允许条件。 系统判断流程可参考下图所示，如果组件资源请求未匹配到Ranger中的权限策略，系统默认将拒绝访问。但是对于HDFS和Yarn，系统会将决策下放给组件自身的访问控制层继续进行判断。 例如要
执行以下命令，切换到客户端安装目录，配置环境变量并认证用户。 cd 客户端安装目录 source bigdata_env kinit Hive业务用户（如果集群未开启Kerberos认证，请跳过该操作） beeline启动断线重连功能。 示例： beeline -e "${SQL}" --hivevar
tive状态的ResourceManager发生故障时，可通过自动或手动的方式触发故障转移，进行Active/Standby状态切换。 在未开启自动故障转移时，YARN集群启动后，MRS集群管理员需要在命令行中使用yarn rmadmin命令手动将其中一个ResourceMana
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
