检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建FlinkServer作业 创建FlinkServer作业写入数据至ClickHouse表 创建FlinkServer作业写入数据至Doris表 创建FlinkServer作业对接DWS表 创建FlinkServer作业对接JDBC 创建FlinkServer作业写入数据至HBase
HBase容灾集群业务切换指导 操作场景 MRS集群管理员可配置HBase集群容灾功能,以提高系统可用性。容灾环境中的主集群完全故障影响HBase上层应用连接时,需要为HBase上层应用配置备集群信息,才可以使得该应用在备集群上运行。 本章节适用于MRS 3.x及之后版本。 对系统的影响
Storm UI查看信息时显示Internal Server Error 问题背景与现象 使用MRS版本安装集群,主要安装ZooKeeper、Strom。 通过MRS Manager中的Storm Status页面UI连接访问信息时显示如下信息: Internal Server Error
通过Yarn WebUI查看作业日志时提示“Could not access logs page!” 问题背景与现象 登录Yarn WebUI界面查看作业日志“Logs”,然后单击“Local logs”,界面提示“Could not access logs page!”。
org.apache.hive.jdbc.HiveDriver jdbc.url 连接Hive的URL,格式为ZooKeeper Mode: jdbc:hive2://<host>:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace
CommitProcessor:13 | session=0xd4b0679daea0000 ip=10.177.112.145 operation=create znode target=ZooKeeperServer znode=/zk-write-test-2 result=success
登录JobServer实例所在的Master节点,查看每个JobBalancer实例的日志“/var/log/Bigdata/job-gateway/balance/access_http.log”里面请求是否转发到Master节点上新添加的JobServer的IP。
<yyyy-mm-dd >.log tomcat的运行日志 localhost_access_log. <yyyy-mm-dd >.txt tomcat的运行日志 manager <yyyy-mm-dd >.log tomcat的运行日志 localhost.
单击“Access Manager > Reports”,可查看各组件所有的安全访问策略。 系统策略较多时,可通过策略名称、类型、组件、资源对象、策略标签、安全区域、用户或用户组等信息进行过滤搜索,也可以单击“Export”导出相关策略内容。
Hive服务健康状态和Hive实例健康状态的区别 问题现象 Hive服务健康状态和Hive实例健康状态的区别是什么? 解决方案 Hive服务的健康状态(也就是在Manager界面看到的健康状态)有Good,Bad,Partially Healthy,Unknown四种状态 ,四种状态除了取决于
admin用户在Ranger中的用户类型为“User”,只能查看Access Manager和Security Zone页面。
Flume服务端进程故障 问题现象 Flume运行一段时间后,Manager界面Flume实例显示运行状态“故障”。 原因分析 Flume文件或文件夹权限异常,重启后Manager界面提示如下信息: [2019-02-26 13:38:02]RoleInstance prepare
Start job success. 执行以下命令,查看作业状态。 .
创建FlinkServer集群连接 操作场景 通过集群连接配置访问不同的集群。 创建集群连接 访问Flink WebUI,请参考访问FlinkServer WebUI界面。 选择“系统管理 > 集群连接管理”,进入集群连接管理页面。 单击“创建集群连接”,在弹出的页面中参考表1填写信息
创建FlinkServer集群连接 通过集群连接配置访问不同的集群。 创建FlinkServer集群连接步骤 访问Flink WebUI,请参考访问FlinkServer WebUI界面。 选择“系统管理 > 集群连接管理”,进入集群连接管理页面。 单击“创建集群连接”,在弹出的页面中参考表
在页面上方选择“Cluster > Add Cluster” 。 图1 添加集群 设置待添加集群的参数,如下参数请参考样例,其他参数默认不需要修改。
Ranger原理 组件Ranger插件 Ranger为各组件提供了基于PBAC(Policy-Based Access Control)的权限管理插件,用于替换组件自身原来的鉴权插件。
数据规划 将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的“/etc/hosts”文件中。
KafkaManager KafkaManager是Apache Kafka的管理工具,提供Kafka集群界面化的Metric监控和集群管理。 通过KafkaManager进行以下操作: 支持管理多个Kafka集群 支持界面检查集群状态(主题,消费者,偏移量,分区,副本,节点) 支持界面执行副本的
DBService DBService简介 DBService是一个高可用性的关系型数据库存储系统,适用于存储小量数据(10GB左右),比如:组件元数据。DBService仅提供给集群内部的组件使用,提供数据存储、查询、删除等功能。 DBService是集群的基础组件,Hive、Hue