检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改MRS集群NTP服务器 如果未配置NTP服务器或已配置的NTP不再使用,管理员可以为MRS集群重新指定或者更换新的NTP服务器,使集群从新的NTP时钟源同步时间。 本章节仅适用于MRS 3.x及以后版本。 修改MRS集群NTP服务器前提条件 请准备新的NTP服务器并获取IP地址,并设置好集群与新NTP服务器的网络。
用户名 连接数据库使用的用户名。 密码 连接数据库使用的密码。 JDBC连接属性 JDBC连接属性,单击“添加”手动添加。 名称:连接属性名。 值:连接属性值。 ftp-connector FTP服务器的IP FTP服务器的IP地址。 FTP服务器端口 FTP服务器的端口号。 FTP用户名
使用Hive Hive用户权限管理 Hive客户端使用实践 快速使用Hive进行数据分析 Hive数据存储及加密配置 Hive on HBase 配置Hive读取关系型数据库数据 Hive企业级能力增强 Hive性能调优 Hive运维管理 Hive常见SQL语法说明 Hive常见问题
配置具备表select权限的用户可查看表结构 操作场景 使用Hive建表时,其他用户被授予select权限后,支持通过show create table查看表结构。 操作步骤 登录FusionInsight Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置”。
查看Ranger用户权限同步信息 查看Ranger相关权限设置信息,例如查看用户、用户组、Role。 查看Ranger权限信息 使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger WebUI界面。 选择“Settings >
使用Presto客户端执行查询语句 用户可以根据业务需要,在MRS集群的客户端中进行交互式查询。启用Kerberos认证的集群,需要提交拓扑的用户属于“presto”组。 MRS 3.x版本Presto组件暂不支持开启Kerberos认证。 前提条件 获取用户“admin”账号密
查看Ranger审计信息 Ranger管理员可通过Ranger界面查看Ranger运行审计日志及组件使用Ranger鉴权后权限管控审计日志信息。 查看Ranger审计信息内容 使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger
使用HBase 连接到HBase响应慢 HBase用户认证失败 端口被占用导致RegionServer启动失败 节点剩余内存不足导致HBase启动失败 HDFS性能差导致HBase服务不可用告警 参数不合理导致HBase启动失败 残留进程导致Regionsever启动失败 HDFS上设置配额导致HBase启动失败
B对应500000块数,用户可根据需要调整内存值。 查看HDFS容量状态 NameNode信息 MRS 3.x之前版本:登录MRS控制台,选择“组件管理 > HDFS > NameNode(主)”,单击“Overview”,查看“Summary”显示的当前HDFS文件对象、文件数量、目录数量和Block数量信息。
务IP地址。 --port 连接的端口。 如果使用ssl安全连接则默认端口为9440,并且需要携带参数--secure。具体的端口值可通过ClickHouseServer实例配置搜索“tcp_port_secure”参数获取。 如果使用非ssl安全连接则默认端口为9000,不需要
通第三方AD服务器。 是,执行7。 否,执行8。 执行以下命令查看是否能连通第三方AD服务。 telnet IP port 其中IP为第三方AD服务器IP地址,port为第三方AD服务器使用端口。 是,执行8。 否,联系运维人员检查网络。 联系第三方AD服务管理人员,检查AD服务是否正常。
检查是否能从NTP服务器获取时间。 继续查看告警附加信息,是否提示不能从NTP服务器获取时间。 是,执行9。 否,执行10。 联系NTP服务器的服务商,解决NTP服务器异常。确保NTP服务器正常后检查告警是否恢复。 是,处理完毕。 否,执行10。 检查从NTP服务器获取的时间是否持续未更新。
Hue界面中查看到未知Job在运行 用户问题 用户查到Hue上有未知的Job在运行。 问题现象 MRS集群创建好后, Hue上查到有Job在运行 ,并且该Job并不是用户主动提交的。 原因分析 此Job为Spark服务启动之后,系统自身连接JDBC的一个默认任务,是常驻的。 处理步骤
查看Ranger用户权限同步信息 查看Ranger相关权限设置信息,例如查看用户、用户组、Role。 查看Ranger权限信息 使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger WebUI界面。 选择“Settings >
通过Yarn WebUI查看作业日志时提示“Could not access logs page!” 通过Yarn WebUI查看队列信息时提示“ERROR 500”错误 通过Yarn WebUI页面查看作业日志提示“ERROR 500”错误 使用Yarn客户端命令查询历史作业报错 Ti
kafka.bootstrap.servers = XXX.XXX.XXX.XXX:kafka端口号,XXX.XXX.XXX.XXX:kafka端口号,XXX.XXX.XXX.XXX:kafka端口号 client.sinks.kafka_sink.flumeBatchSize = 1000
选择对应要调试的源码模块路径,并配置远端调试参数Host和Port,如图2所示。 其中Host为Spark运行机器IP地址,Port为调试的端口号(确保该端口在运行机器上没被占用)。 图2 配置参数 当改变Port端口号时,For JDK1.4.x对应的调试命令也跟着改变,比如Port设置为5006,对应调试命令会变更为-Xdebug
查看Kafka Topic信息 操作场景 用户可以在Manager或KafkaUI上查看Kafka已创建的主题信息。 在Manager查看Kafka Topic信息 登录FusionInsight Manager,具体请参见访问集群Manager。然后选择“集群 > 服务 > Kafka”。
MRS集群如何使用公网访问Presto 用户问题 用户调测Presto JDBC样例代码,需要使用公网访问Presto。 问题分析 登录MRS Manager上查看Presto全部配置,Coordinator角色配置: PRESTO_COORDINATOR_FLOAT_IP = 内网IP地址
使用HDFS 修改RPC端口后HDFS NameNode实例都变为备状态 通过公网IP连接使用HDFS客户端报错 使用Python远程连接HDFS的端口失败 HDFS容量达到100%导致上层服务HBase、Spark等不可用 启动HDFS和Yarn服务报错“Permission denied”