检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何查看哪个ZooKeeper实例是Leader 问题 如何查看ZooKeeper实例的角色是Leader还是Follower? 回答 登录集群Manager管理界面,选择“集群 > 服务 > ZooKeeper > 实例”。 单击相应的quorumpeer实例名称,进入对应实例的详情页面。
如何查看ENABLED表的CLOSED状态的Region 问题 如何在HBase客户端查看ENABLED表的CLOSED状态的Region。 该操作仅MRS 3.3.0及之后版本支持。 处理步骤 以客户端安装用户登录到安装了HBase客户端的节点。 切换到客户端安装目录并配置环境变量:
Kafka生产者写入单条记录过长问题 问题背景与现象 用户在开发一个Kafka应用,作为一个生产者调用新接口(org.apache.kafka.clients.producer.*)往Kafka写数据,单条记录大小为1100055,超过了kafka配置文件server.properties中message
Kakfa消费者读取单条记录过长问题 问题背景与现象 和“Kafka生产者写入单条记录过长问题”相对应的,在写入数据后,用户开发一个应用,以消费者调用新接口(org.apache.kafka.clients.consumer.*)到Kafka上读取数据,但读取失败,报异常大致如下:
数据操作:IAM用户任务、新增用户、新增用户组等操作。 查看云服务操作日志 登录MRS管理控制台。 单击“操作日志”,查看日志详情。 日志列表默认按时间顺序排列,时间最近的日志显示在最前端。 日志信息中的各字段说明如表1所示。 表1 日志说明 参数 参数说明 操作类型 记录执行的操作类型,包括: 集群操作
条数据清除。 表1 删除Hive on HBase表中的单行记录所需权限 集群认证模式 用户所需权限 安全模式 “SELECT”、“INSERT”和“DELETE” 普通模式 无 操作步骤 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,配置环境变量并认证用户。
安全组名称可在集群的“概览”界面的“安全组”查看。 添加安全组规则,默认填充的是用户访问弹性IP地址的规则。如需对安全组规则进行查看,修改和删除操作,请单击“管理安全组规则”。 勾选确认信息后,单击“确定”。 单击“确定”,进入Manager登录页面。 输入默认用户名“admin”及创
查看MRS作业详情和日志 用户通过管理控制台可在线查看当前MRS集群内所有作业的状态详情,以及作业的详细配置信息和运行日志信息。 由于Spark SQL和Distcp作业在后台无日志,因此运行中的Spark SQL和Distcp作业不能在线查看运行日志信息。 查看作业状态 登录MRS管理控制台。
WebUI访问HDFS文件失败 问题 在使用Hue WebUI访问HDFS文件时,报如下图所示无法访问的错误提示,该如何处理? 回答 查看登录Hue WebUI的用户是否具有“hadoop”用户组权限。 查看HDFS服务是否安装了HttpFS实例且运行正常。如果未安装HttpFS实例,需手动安装并重启Hue服务。
安全管理 用户登录 元数据管理 查询connector 查询framework 查询step 数据源连接管理 查询数据源连接 增加数据源连接 更新数据源连接 删除数据源连接 激活数据源连接 禁用数据源连接 作业管理 查询作业 创建作业 更新作业 删除作业 激活作业 禁用作业 查询作业所有执行记录
删除Hive on HBase表中的单行记录 操作场景 由于底层存储系统的原因,Hive并不能支持对单条表数据进行删除操作,但在Hive on HBase功能中,MRS Hive提供了对HBase表的单条数据的删除功能,通过特定的语法,Hive可以将自己的HBase表中符合条件的一条或者多条数据清除。
日志聚合下,如何查看Spark已完成应用日志 问题 当YARN开启了日志聚合功能时,如何在页面看到聚合后的container日志? 回答 当Yarn配置“yarn.log-aggregation-enable”为“true”时,就开启了container日志聚合功能。日志聚合功能
日志聚合下如何查看Spark已完成应用日志 问题 当YARN开启了日志聚合功能时,如何在页面看到聚合后的container日志? 回答 当Yarn配置“yarn.log-aggregation-enable”为“true”时,就开启了container日志聚合功能。 日志聚合功能
Streaming作业消费Kafka数据 应用场景 本文介绍如何使用MRS集群运行Spark Streaming作业以消费Kafka数据。 假定某个业务Kafka每1秒就会收到1个单词记录。基于业务需要,开发的Spark应用程序实现实时累加计算每个单词的记录总数的功能。 Spark Streamin
如何提高Presto资源使用率? 问题现象 节点资源利用不均衡,执行Presto任务几小时后仍未完成。 解决步骤 调小Yarn节点内存比例: 登录Manager页面,选择“集群 > 服务 > Presto > 实例”,查看并记录所有Presto实例所在节点主机名称。 选择“集群 >
MRS集群如何使用公网访问Presto 用户问题 用户调测Presto JDBC样例代码,需要使用公网访问Presto。 问题分析 登录MRS Manager上查看Presto全部配置,Coordinator角色配置: PRESTO_COORDINATOR_FLOAT_IP = 内网IP地址
登录MRS集群节点 本章节介绍如何使用弹性云服务器管理控制台上提供的远程登录(VNC方式)和如何使用密钥或密码方式(SSH方式)登录MRS集群中的节点,远程登录主要用于紧急运维场景,远程登录弹性云服务器进行相关维护操作。其他场景下,建议用户采用SSH方式登录。 如果需要使用SSH
登录MRS集群 查看MRS集群主备管理节点 登录MRS集群节点 父主题: MRS集群运维
文件。 如果需要查看指定时间范围的监控指标对应的分布曲线图,请单击“查看”,界面将显示用户自定义时间范围内选定指标的分布曲线图。 用户需要了解服务和主机关键监控指标中最高、最低或平均监控数据形成的曲线,即资源分布情况时,可以在MRS Manager上查看,支持查询1小时以内的监控数据。
集群管理类 如何查看所有MRS集群? 如何查看MRS服务的操作日志信息? 如何查看MRS集群配置信息? 如何在MRS集群中手动添加组件? 如何取消MRS集群风险告警的消息通知? 为什么MRS集群显示的资源池内存小于实际集群内存? MRS集群安装的Python版本是多少? 如何上传本地文件到集群内节点?