检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL和DataFrame Spark SQL ROLLUP和CUBE使用的注意事项 Spark SQL在不同DB都可以显示临时表 如何在Spark命令中指定参数值 SparkSQL建表时的目录权限 为什么不同服务之间互相删除UDF失败 Spark SQL无法查询到Parquet类型的Hive表的新插入数据
tomcat等端口被占用时，会影响Manager页面登录、查看功能。 可能原因 随机端口范围配置被修改。 处理步骤 检查系统当前的随机端口范围。 打开FusionInsight Manager页面，在告警列表中，单击此告警所在行的，查看该告警的主机地址。 以root用户登录告警所在主机，用户密码为安装前用户自定义，请咨询系统管理员。
ClickHouse表数据分布不合理，或后台合并任务执行慢导致part数量多。 处理步骤 登录FusionInsight Manager页面，选择“运维 > 告警 > 告警”，查看当前告警“定位信息”中的角色名以及确认主机名所在的IP地址。 以客户端安装用户，登录客户端的节点，执行如下命令： cd {客户端安装路径}
的风险。 操作示例 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令，切换到客户端安装目录，配置环境变量并认证用户。 cd 客户端安装目录 source bigdata_env kinit Hive业务用户 执行以下命令登录Hive客户端。 beeline 配置Hive视图的访问控制权限示例：
successfully. 以omm用户通过备管理节点IP登录备管理节点，重复5～6。 执行sh ${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh，查看管理节点的“HAAllResOK”是否为“Normal”，并可以重新登录FusionInsight Manager表示操作成功。
如果通过Manager界面操作，需要已登录MRS集群Manager界面，详情请参考访问MRS集群Manager。 已添加资源池。 任务队列与其他资源池无关联关系，除了默认的“default”资源池。 通过管理控制台配置队列容量策略 登录MRS管理控制台。 选择“现有集群”，选中
e”，则无需处理。 图1 配置参数“yarn.acl.enable” 使用Ranger管理员用户rangeradmin登录Ranger管理页面，具体操作可参考登录Ranger WebUI界面。 在首页中单击“YARN”区域的组件插件名称如“Yarn”。 单击“Add New Policy”，添加Yarn权限控制策略。
配置Hive任务的最大map数 “hive.mapreduce.per.task.max.splits”参数可用于从服务端限定Hive任务的最大map数，避免HiveSever服务过载而引发的性能问题。 操作步骤 登录FusionInsight Manager页面，选择“集群 > 服务 > Hive > 配置
参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，MapReduce服务还需参考本章节新增自定义配置。 MapReduce对接OBS 登录MRS管理控制台，单击集群名称进入集群详情页面。 选择“组件管理 > Mapreduce”，进入Mapreduce服务“全部配置”页面，在
查看HBase的HMaster日志，报如下错误： 检查HDFS上HBase的路径发现acl表路径丢失。 解决办法 停止HBase组件。 在HBase客户端使用hbase用户登录认证，执行如下命令。 例如： hadoop03:~ # source /opt/client/bigdata_env hadoop03:~
启动从PgSQL中抓取数据到Hudi任务报错 现象描述 启动从PgSQL中抓取数据到Hudi任务报错：Record key is empty 可能原因 Hudi表主键参数“table.primarykey.mapping”未配置。 处理步骤 登录FusionInsight Manager，选择“集群
groups=10001(hadoop),9998(ficommon),10003(kafka) 解决办法 MRS Manager界面操作： 登录MRS Manager。 选择“系统设置 > 用户管理”。 在操作用户对应的“操作”列，单击“修改”。 为用户加入kafkaadmin组。单击“确定”完成修改操作。
可能原因 FlinkServer作业Task持续背压的具体原因可在具体日志中查看。 处理步骤 使用具有FlinkServer管理操作权限的用户登录Manager。 选择“集群 > 服务 > Yarn”，单击“ResourceManager WebUI”后的链接进入Yarn页面。 根据
色管理功能，可能引起无法登录Manager和组件的WebUI。 可能原因 AOS进程异常。 处理步骤 检查AOS进程是否异常。 打开FusionInsight Manager页面，在告警列表中，单击此告警所在行的，查看该告警的主机名称。 以root用户登录该告警的主机地址，用户密
Certificate”，以omm用户登录主OMS管理节点，执行2。 管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 告警附加信息中显示“HA root Certificate”，查看“定位信息”获取告警所在节点主机名，以omm用户登录该主机，执行3。
在各个数据节点准备并安装好新磁盘，并格式化磁盘。 规划好新的目录路径，用于保存旧目录中的数据。 准备好MRS集群管理员用户admin。 操作步骤 检查环境。 登录Manager，选择“集群 > 待操作集群的名称 > 服务”查看Yarn的状态“运行状态”是否为“良好”。 是，执行1.c。 否，Yarn状态不健康，执行1
启Kerberos认证的Kafka集群端口默认为21007。 登录MRS Manager，选择“服务管理 > ZooKeeper > 实例”，获取ZooKeeper的quorumpeer实例的“管理IP”地址。 登录MRS Manager，选择“服务管理 > Kafka > 实例
对FlinkServer本身没有影响。 可能原因 失败原因可在具体日志中查看。 处理步骤 使用具有FlinkServer管理操作权限的用户登录Manager。 选择“集群 > 服务 > Yarn”，单击“ResourceManager WebUI”后的链接进入Yarn页面。 根据
查看告警信息。 登录FusionInsight Manager首页，选择“运维 > 告警 > 告警 > ALM-45653 Flink HA证书文件失效 > 定位信息”，查看告警上报的主机名，单击“主机”，查看主机名对应的IP地址。 检查系统中HA证书文件是否有效。 以omm用户登录告警所在节点主机。
告警阈值配置或者平滑次数配置不合理。 CPU配置无法满足业务需求，CPU使用率达到上限。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。 登录MRS Manager，基于实际CPU使用情况，修改告警阈值和平滑次数配置项。 根据实际服务的使用情况在“系统设置 > 阈值配置 > 设备
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
