检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark shuffle异常处理 问题 在部分场景Spark shuffle阶段会有如下异常 解决方法 JDBC应该: 登录FusionInsight Manager管理界面,修改JDBCServer的参数“spark.authenticate.enableSaslEncryption
登录FusionInsight Manager,选择“运维 > 告警 > 告警”,在当前告警详情查看“定位信息”中产生该告警的服务实例和主机。
登录FusionInsight Manager,选择“集群 > 概览 > 更多 > 重启”(MRS 3.3.0及之后版本请在“主页”右上方选择“更多 > 重启”。),在弹出窗口中输入当前登录的用户密码确认身份,然后单击“确定”。
准备Spark本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。
Polygon表的每一行的所有点连接起来形成一个封闭的几何对象。 UDF输入参数: 参数 类型 说明 GEO_HASH_INDEX_COLUMN Long 空间数据表的GeoHashIndex列。
处理步骤 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看当前告警“定位信息”中的角色名以及确认主机名所在的IP地址。 扩容告警上报节点的磁盘容量。 扩容后检查告警是否清除。 是,操作结束。 否,执行4。
准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。
网络问题导致运行应用程序时出现异常 问题 应用程序在Windows环境下运行时,发现连接不上MRS集群,而在Linux环境下(和安装了MRS集群的机器是同一个网络)却运行正常。
并且keytab方式下,登录用户和所上传keytab所属用户必须是同一个用户。
处理步骤 登录FusionInsight Manager,然后选择“集群 > 服务 > Impala > Impalad Web UI”,单击任一个节点进入Web UI页面。
Polygon表的每一行的所有点连接起来形成一个封闭的几何对象。 UDF输入参数: 参数 类型 说明 GEO_HASH_INDEX_COLUMN Long 空间数据表的GeoHashIndex列。
网络问题导致运行应用程序时出现异常 问题 应用程序在Windows环境下运行时,发现连接不上MRS集群,而在Linux环境下(和安装了MRS集群的机器是同一个网络)却运行正常。
场景二:使用Flink客户端在Linux环境下提交Flink作业 以客户端安装用户登录MRS客户端节点。 执行如下命令初始化环境变量。
MRS Manager界面操作入口:登录MRS Manager,依次选择 “服务管理 > Storm> 配置”。
登录告警节点执行sudo su - root切换用户,执行ntpq -np命令。
使用omm用户登录故障主机。
使用具有KafkaUI页面访问权限的用户登录FusionInsight Manager,选择“集群 > 服务 > Kafka”。 如需在页面上进行相关操作,例如创建Topic,需同时授予用户相关权限,请参考Kafka用户权限说明。
回答 登录HMaster WebUI,在导航栏选择“Procedure & Locks”,查看是否有处于Waiting状态的process id。
例如: 创建好的租户为hbase,使用admin用户登录hbase shell,执行scan 'hbase:acl'命令查询租户对应的角色为hbase_1450761169920(格式为:租户名_时间戳)。
若将checkpoint的快照信息保存到本地文件,则可直接登录到各个节点查看。 查看Pipeline结果 结果在flink的“taskmanager.out”文件中。用户可以进入Yarn的WebUI页面,选择“Jobs > Running Jobs”查看提交的作业如图3。