检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS进入安全模式导致HBase服务异常,退出安全模式后HBase如何快速恢复 现象描述 MRS 3.5.0及之后版本,HDFS进入安全模式后导致HBase服务异常,退出安全模式后HBase如何快速恢复? 原因分析 HDFS进入安全模式后HBase服务异常,导致meta表下线;
配置Kafka数据均衡工具 操作场景 该任务指导管理员根据业务需求,在客户端中执行Kafka均衡工具来均衡Kafka集群的负载,一般用于节点的退服、入服以及负载均衡的场景。 前提条件 MRS集群管理员已明确业务需求,并准备一个Kafka管理员用户(属于kafkaadmin组,普通模式不需要)。
关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择“cdm.medium”即可,满足大部分迁移场景。 CDM集群所在VPC、子网、安全组,选择与MRS集群所在的网络一致。 CDM集群创建完成后,选择集群操作列的“绑定弹性IP”,CDM通过EIP访问MRS HDFS。 图2 集群列表
不同用户的数据可能存放在一起,难以保证数据安全。 对于以租户为核心的大数据平台,用户通过访问租户来使用需要的资源和服务。 按照应用需求分配和调度出需要的资源,以租户来统一使用,资源利用效率高。 用户通过分配不同的角色获得使用不同租户资源的权限,以保障访问安全。 不同的租户之间数据隔离,以保证数据安全。 约束与限制
取值范围: 不涉及 默认取值: 不涉及 vpc 是 String 参数解释: 子网所在VPC名称。通过VPC管理控制台获取名称。 登录管理控制台。 单击“虚拟私有云”,从左侧列表选择虚拟私有云。 在“虚拟私有云”页面的列表中即可获取VPC名称。 约束限制: 不涉及 取值范围: 不涉及
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试? 回答 以调试SparkPi程序为例,演示如何进行IDEA的远程调试: 打开工程,在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号,在
Presto如何配置其他数据源? 本指导以连接MySQL数据源为例。 MRS 1.x及MRS 3.x版本。 登录MRS管理控制台。 单击集群名称进入集群详情页面。 选择“组件管理 > Presto”。设置“参数类别”为“全部配置”,进入Presto配置界面修改参数配置。 搜索“c
配置互信的两个集群系统内所有集群全部组件的运行状态均为“良好”。 配置互信的两个集群,需要在相同的VPC中。如果两集群不在同一VPC中,则需要已建立VPC对等连接,相关操作请参考VPC对等连接。 MRS 3.x及之后版本,Manager内所有集群的ZooKeeper服务的“acl.compare
器的安全。 相关操作 Agent状态及异常处理的详细操作请参见Agent状态异常应如何处理?。 Agent安装失败,详细操作请参见Agent安装失败应如何处理?。 卸载Agent的详细操作请参见如何卸载Agent?。 父主题: 周边生态对接类
修改OMS数据库访问用户密码 该任务指导管理员定期修改OMS数据库访问用户的密码,以提升系统运维安全性。 对系统的影响 修改密码需要重启OMS服务,服务在重启时无法访问。 修改OMS数据库访问用户密码(MRS 3.x及之后版本) 在FusionInsight Manager选择“系统
够同时读取主备集群数据,减少查询毛刺,具体表现为: 高成功率:双并发读机制,保证每一次读请求的成功率。 可用性:单集群故障时,查询业务不中断。短暂的网络抖动也不会导致查询时间变长。 通用性:双读特性不支持双写,但不影响原有的实时写场景。 易用性:客户端封装处理,业务侧不感知。 HBase双读使用约束:
集群数据,减少查询毛刺,具体表现为: 高成功率:双并发读机制,保证每一次读请求的成功率。 可用性:单集群故障时,查询业务不中断。短暂的网络抖动也不会导致查询时间变长。 通用性:双读特性不支持双写,但不影响原有的实时写场景。 易用性:客户端封装处理,业务侧不感知。 HBase双读使用约束:
MRS集群和LakeFormation实例必须同在一个云账户下且属于同一个Region。 LakeFormation侧创建的接入客户端所在虚拟私有云,必须与MRS集群在同一虚拟私有云下。 MRS集群仅支持对接LakeFormation实例中名称为hive的Catalog。 MRS存量集群需要先完成元
通过Spark Streaming作业消费Kafka数据 应用场景 本文介绍如何使用MRS集群运行Spark Streaming作业以消费Kafka数据。 假定某个业务Kafka每1秒就会收到1个单词记录。基于业务需要,开发的Spark应用程序实现实时累加计算每个单词的记录总数的功能。
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试? 回答 以调试SparkPi程序为例,演示如何进行IDEA的远程调试: 打开工程,在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号,在
0-LTS.1。 组件选择:请根据业务需求合理选择需要的组件,部分类型集群创建后不支持添加服务。 元数据:选择“本地元数据”。 网络配置: 可用区:默认即可。 虚拟私有云:默认即可。 子网:默认即可。 安全组:默认即可。 弹性公网IP:默认即可。 节点配置: CPU架构:默认即可。MRS 3
选择集群工作区域下关联的可用区。 虚拟私有云 vpc-default 选择需要创建集群的VPC,单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC,需要创建一个新的VPC。 子网 subnet-default 选择需要创建集群的子网,可进入VPC服务查看VPC下已创建的子
取值范围: 不涉及 默认取值: 不涉及 vpc_name 是 String 参数解释: 子网所在VPC名称。通过VPC管理控制台获取名称: 登录VPC管理控制台。 单击“虚拟私有云”,从左侧列表选择虚拟私有云。 在“虚拟私有云”页面的列表中即可获取VPC名称。 约束限制: 不涉及 取值范围:
克隆的作业只能并行执行,不保证执行顺序 包周期集群不允许克隆集群作业 普通集群支持克隆作业,安全集群不支持克隆作业 集群相关配置是否支持克隆情况参见表1。 表1 MRS集群参数克隆说明 参数 说明 计费模式、版本类型、集群版本、集群类型、组件列表、可用区、企业项目、虚拟私有云、子网、安全组(
署在用户的VPC内部,MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则,而开通相应的安全组规则需要获取用户授权,此授权过程称为通信安全授权。 若不开启通信安全授权,MRS将无法创建集群。集群创建成功后若关闭通信将导致集群状态为“网络通道未授权”且如下功能将受到影响: