正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Yarn服务故障。 对应的Hive服务故障。 处理步骤 检查Spark依赖的服务是否有服务不可用告警。 登录MRS集群详情页面,选择“告警管理”。 在告警列表中,查看是否存在以下告警: ALM-25500 KrbServer服务不可用 ALM-25000 LdapServer服务不可用
其中<host>为ZooKeeper地址,ZooKeeper地址可通过登录MRS Manager然后选择“服务管理 > ZooKeeper > 实例”,查看ZooKeeper实例的“管理IP”地址获取。 jdbc:hive2://xx.xx.xx.xx:2181,xx.xx.xx.xx:2181
rver作业管理页面操作。 本示例以安全模式Kafka为例。 前提条件 集群中已安装HDFS、Yarn、Flink服务。 包含HDFS服务的客户端已安装,安装路径如:/opt/client。 参考创建FlinkServer权限角色创建一个具有FlinkServer管理员权限的用户用于访问Flink
在Ranger WebUI界面取消用户admintest的所有权限: 使用admintest用户登录CDL WebUI界面后,该用户可以在“作业管理界面”操作自己创建的任务: 可能原因 用户未删除Ranger策略上的“{OWNER}”权限。 处理步骤 使用admin用户登录FusionInsight
使用Hue创建工作流 操作场景 用户通过Hue管理界面可以进行提交Oozie作业,提交作业之前,首先需要创建一个工作流。 前提条件 使用Hue提交Oozie作业之前,需要提前配置好Oozie客户端,并上传样例配置文件和jar至HDFS指定目录,具体操作请参考Oozie客户端配置说明章节。
MRS云服务管理控制台提供的相关功能: 集群的创建、删除、扩容、缩容 集群作业管理 集群告警管理 集群补丁管理 IAM用户委托管理 对外API接口管理 MRS服务提供的开源大数据组件,其中开源组件请参考对应MRS版本组件列表。 支持客户进行MRS服务相关开源组件漏洞分析,如影响分析、修复建议,由用户负责评估对应的业务影响和进行最终实施。
记录作业执行完成或手工停止的时间。 操作 对当前作业执行相关操作,请参考管理MRS集群作业。 查看MRS作业日志 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名,进入集群基本信息页面。 选择“作业管理”。 在需要查看作业对应的“操作”列中,单击“更多 > 查看详情”。
登录MRS Manager,选择“服务管理 > ZooKeeper > 实例”,获取ZooKeeper的quorumpeer实例的“管理IP”地址。 登录MRS Manager,选择“服务管理 > Kafka > 实例”,获取Kafka的broker实例的“管理IP”地址。 父主题: Kafka接口介绍
重启实例”。查看JournalNode能否成功启动。 是,执行1.f。 否,执行5。 等待5分钟后,在“告警管理”页签,查看该告警是否恢复。 是,处理完毕。 否,执行2.a。 检查DataNode实例状态。 在MRS集群详情页面,单击“组件管理”。 单击“HDFS”。 在“操作状态和健康状态”中,查看所有DataN
支持AVG、SUM、COUNT、MAX和MIN统计方法。 Flink SQL可视化定义 集群连接管理,配置Kafka、HDFS等服务所属的集群信息。 数据连接管理,配置Kafka、HDFS等服务信息。 数据表管理,定义Sql访问的数据表信息,用于生成DDL语句。 FlinkSQL作业定义,根据
onServer和Master的信息、快照、运行进程等信息。通过Web UI提供的信息可以对整个HBase集群的状况有一定的了解。 请联系管理员获取具有访问Web UI权限的业务账号及其密码。 操作步骤 登录FusionInsight Manager页面。选择“集群 > 待操作集群的名称
服务韧性 跨AZ容灾部署能力 MRS服务管理面提供双集群跨AZ容灾能力,即在另一个可用区(跨AZ)部署一个同构的MRS灾备集群,如果生产集群所处的地理位置发生自然灾害,或者集群内部出现了故障从而导致生产集群无法正常对外提供读写服务,那么灾备集群可以切换为生产集群,从而保障业务连续性。
forName("org.apache.hive.jdbc.HiveDriver").newInstance(); 获取数据库连接 使用JDK的驱动管理类java.sql.DriverManager来获取一个Hive的数据库连接。 Hive的数据库URL为url="jdbc:hive2://xxx
如果用户密码输入错误,请检查并输入正确密码。 MRS集群默认管理用户为admin,密码为创建集群时用户设置。 或参考如何重置或修改Manager(admin)密码?章节重置用户密码。 集群的用户密码过期或遗忘后,也可使用管理员登录Manager初始化该用户的密码。 登录FusionInsight
UI查看当前消费情况。 本章节内容适用于MRS 3.x及后续版本。 前提条件 如果当前使用Kafka客户端,需要满足以下条件: MRS集群管理员已明确业务需求,并准备一个系统用户。 已安装Kafka客户端。 使用Kafka客户端查看当前消费情况 以客户端安装用户,登录安装Kafka客户端的节点。
进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
线上VPC的连接通道。云专线详情请参考什么是云专线。 弹性IP访问和云专线访问可以在MRS集群管理控制台上进行切换:登录MRS管理控制台,在待操作的MRS集群“概览”页面单击“集群管理页面”后的,在打开的页面中进行切换。 通过ECS访问FusionInsight Manager:
com”),否则HetuEngine无法根据主机名称连接到非本集群节点。 已创建HetuEngine计算实例。 添加GAUSSDB数据源步骤 使用HetuEngine管理员用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。
Java样例代码 功能介绍 在Spark应用中,通过使用Streaming调用kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例 下面代码片段仅为演示,具体代码参见:com.huawei
执行Kafka Topic删除操作时发现无法删除 问题背景与现象 在使用Kafka客户端命令删除Topic时,发现Topic无法被删除。 kafka-topics.sh --delete --topic test --zookeeper 192.168.234.231:2181/kafka