检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录到impala客户端所在的节点上,source环境变量,然后执行如下命令。
操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。
安全模式下,KafkaUI对修改Topic Configs场景,需保证KafkaUI登录用户属于“kafkaadmin”用户组或者单独给用户授予对应操作权限,否则将会鉴权失败。 非安全模式下,KafkaUI对所有操作不作鉴权处理。
准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。
“机机”用户需要下载keytab文件,“人机”用户第一次登录时需修改密码。 使用HIndexImportTsv批量生成HBase本地二级索引数据 以客户端安装用户登录安装了客户端的节点。
MRS提供了基于弹性公网IP来便捷访问组件WebUI的安全通道,并且比用户自己绑定弹性公网IP更便捷,只需界面鼠标操作,即可简化原先用户需要自己登录虚拟私有云添加安全组规则,获取公网IP等步骤,减少了用户操作步骤。
网络问题导致运行应用程序时出现异常 问题 应用程序在Windows环境下运行时,发现连接不上MRS集群,而在Linux环境下(和安装了MRS集群的机器是同一个网络)却运行正常。
使用Impala 连接impala-shell失败 创建Kudu表报错 Impala客户端安装Python2
node may have crashed or be under too much load” 用户问题 用户presto查询语句报错:The node may have crashed or be under too much load,具体如下图所示: 图1 报错信息 问题分析 登录集群
答: 以“RegionServer级别操作请求次数”监控项为例: 登录FusionInsight Manager,选择“集群 > 服务 > HBase > 资源”,在该界面即可查看“RegionServer级别操作请求次数”图表,选中“all”,则显示当前集群所有RegionServer
表1 MRS管理控制台与Manager区别说明 常用操作 MRS管理控制台 MRS集群Manager 切换子网、添加安全组规则、OBS权限控制、管理委托、IAM用户同步 支持 不支持 新增节点组、扩容、缩容、升级规格 支持 不支持 隔离主机、启动所有角色、停止所有角色 支持 支持
图中的Operator Chain表示一个Operator,KeyBy表示一个Operator,Sink表示一个Operator,它们通过Stream连接,而每个Operator在运行时对应一个Task,也就是说图中的上半部分有3个Operator对应的是3个Task。
(V1) POST /v1.1/{project_id}/jobs/submit-job mrs:job:submit √ √ 新增并执行作业(V2) POST /v2/{project_id}/clusters/{cluster_id}/job-executions √ √ 查询作业
收集故障信息 使用具有当前Flink作业的管理操作权限的用户登录Manager。 选择“运维 > 告警 > 告警 > ALM-45648 RocksDB持续发生Write-Stopped”,检查该告警的“定位信息”,查看并记录告警上报的任务名。
MRS 3.x及后续版本,登录FusionInsight Manager,然后选择“集群 > 待操作的集群名称 > 服务 > Hive > 配置 > 全部配置”。
可登录FusionInsight Manager,选择“集群 > 服务 > Oozie > 实例”,即可获取任一oozie实例的IP地址;单击“配置”,在搜索框中搜索“OOZIE_HTTPS_PORT”,即可查看使用的端口号。
以root用户登录集群的主Master节点,密码为用户创建集群时设置的root密码。 执行如下命令,配置环境变量。 source /opt/client/bigdata_env 使用Alluxio Shell Alluxio shell包含多种与Alluxio交互的命令行操作。
登录到impala客户端所在的节点上,source环境变量,然后执行如下命令。
配置参数 登录FusionInsight Manager系统,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。
以上命令执行后将只会登录到被设置租约隔离的HiveServer上。 开启本功能后,必须在登录时使用以上命令才可以访问这个被设置租约隔离的HiveServer。如果直接使用beeline命令登录客户端,将只会访问其他没有被设置租约隔离的HiveServer。