检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark Streaming
准备Doris应用开发环境 准备本地应用开发环境 准备连接Doris集群配置文件 配置并导入JDBC样例工程 配置并导入SpringBoot样例工程 父主题: Doris开发指南(普通模式)
Hive应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 Hive应用程序开发流程 表1 Hive应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Hive的基本概念。 常用概念 准备开发和运行环境 Hive的应用程序支持使用Java
准备Hive应用开发环境 准备Hive应用开发和运行环境 导入并配置Hive样例工程 父主题: Hive开发指南(普通模式)
Hive应用开发常见问题 Hive对外接口介绍 配置Windows通过EIP访问普通模式集群Hive 使用IBM JDK产生异常“Problem performing GSS wrap”如何处理 父主题: Hive开发指南(普通模式)
Kafka应用开发常见问题 Kafka常用API介绍 配置Windows通过EIP访问集群Kafka 运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata...” 父主题: Kafka开发指南(普通模式)
准备Oozie应用开发环境 准备本地应用开发环境 导入并配置Oozie样例工程 父主题: Oozie开发指南(普通模式)
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 热点Region被限流,会限制处理该Region的handler数,请求该Region的业务可能变慢或者失败重试。 可能原因 业务访问HBase服务时单Region请求过高。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 FGC时间超出阈值,会影响到数据的读写。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 当ClickHouse与Zookeeper断连,将无法正常使用ClickHouse服务。 可能原因 ZooKeeper状态异常。 ClickHouse业务压力过大。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 只读的表无法写入数据和修改数据。 影响复制表的数据同步,导致数据不一致。 可能原因 ZooKeeper压力大,元数据丢失。
补丁安装后操作 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩,操作如下: 登录华为云管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题: MRS 3.3.0.3.1补丁说明
查看MRS集群主备管理节点 部分运维操作的脚本与命令需要或只支持在主管理节点上运行。用户可以通过登录Master节点或登录Manager(仅适用于MRS 3.x及之后版本)确认集群的主备管理节点(即主备OMS节点)。 在主备模式下,由于Master1和Master2之间会进行主备切换
缩容ClickHouseServer节点 MRS集群中部署了ClickHouse服务时,如果需要缩容ClickHouseServer节点,需参考本章节进行缩容前的数据检查,避免在删除节点过程中造成数据丢失。
在集群详情页,选择“组件管理 > 添加服务”。 在服务列表中,勾选需要添加的服务,单击“下一步”。 添加服务时,该服务依赖的下层服务也会自动勾选,可以同时添加多个服务。 只能在状态正常的节点或节点组上添加服务。
创建MRS集群数据备份任务 Manager支持在界面上创建备份任务,运行备份任务对指定的数据进行备份。 创建数据备份任务(MRS 3.x及之后版本) 登录FusionInsight Manager。 选择“运维 > 备份恢复 > 备份管理 > 创建”。 图1 创建备份任务 设置“备份对象
升级组件安装包 该操作可以解决添加服务、添加实例、新下载客户端场景下的补丁安装。 登录集群主OMS节点,执行以下命令。
安装补丁前准备 安装补丁前需要手动进行以下相关检查。 检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 设备分区名 产生告警的磁盘分区。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 可能引起Manager主备倒换。Manager和组件WebUI服务不可用,无法对Web上层应用正常提供集群管理功能,可能引起无法登录Manager和组件的WebUI。