检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
型的规格。 MRS支持的弹性云服务器(ECS)和裸金属服务器(BMS)混合部署,部署方式如下: Master、Core和Task节点均使用ECS部署。 Master、Core使用BMS部署,Task使用ECS部署。 Master、Core节点任意使用ECS和BMS混合部署,Task节点使用ECS部署。
toreFile完成时,HDFS方面认为任务已完成,将连接关闭权交给HBase,但HBase为了保证实时响应,有请求时就可以连接对应数据文件,需要保持连接,选择不关闭连接,所以连接状态为CLOSE_WAIT(需客户端关闭)。 什么时候会创建StoreFile:当HBase执行Flush时。
GenericJdbcConnector | | 2 | ftp-connector | 2.0.5-SNAPSHOT | org.apache.sqoop.connector.ftp.FtpConnector
操作场景 loader-tool工具支持通过作业模板或参数选项的方式,对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例,通过引用作业模板的方式,介绍loader-tool工具的使用方法。 本章节适用于MRS 3.x及后续版本。
阈值,则触发告警。 当发出告警的目录的子目录/文件数所占百分比低于阈值后,该告警将自动恢复。当监控开关关闭,所有目录对应的该告警都将自动恢复。当从监控列表中移除指定目录时,该目录对应的告警也会自动恢复。 HDFS目录的子文件/目录最大个数由参数“dfs.namenode.fs-limits
在使用安全软件测试集群时,发现有EulerOS系统底层存在漏洞。 原因分析 MRS集群内服务部署在EulerOS系统中,因此需要进行漏洞升级。 处理步骤 修复漏洞前请确认是否开启了主机安全服务(Host Security Service,简称HSS),如果已开启,需要先暂时关闭HSS服务对MRS集群的监测,漏洞修复完成后重新开启HSS服务。
确保上层业务已经停止,如果没有停止,先执行HBase容灾集群业务切换指导操作。 关闭主集群写功能 下载并安装HBase客户端。 具体请参考安装MRS客户端章节。 在备集群HBase客户端,以hbase用户执行以下命令指定备集群写数据状态关闭。 cd 客户端安装目录 source bigdata_env
时,响应较慢。 原因分析 客户配置了DNS服务,由于客户端连接到HBase先通过DNS来解析服务器端,所以导致响应慢。 处理步骤 以root用户登录Master节点。 执行vi /etc/resolv.conf,打开resolv.conf文件,注释掉DNS服务器地址。 例如,#1
确保上层业务已经停止,如果没有停止,先执行 参考HBase容灾集群业务切换指导。 关闭主集群写功能 下载并安装HBase客户端。 具体请参考安装客户端(3.x及之后版本)章节。 在备集群HBase客户端,以hbase用户执行以下命令指定备集群写数据状态关闭。 kinit hbase hbase shell s
问题 为什么在Zookeeper服务器上启用安全的netty配置时,四个字母的命令不能与linux的netcat命令一起使用? 例如: echo stat |netcat host port 回答 Linux的netcat命令没有与Zookeeper服务器安全通信的选项,所以当启用安
告警ID 告警级别 是否自动清除 45640 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 FlinkServer主备之间的心跳中断有很多原因,如果是主节点出问题
集群运维 登录集群 在创建集群时,MRS支持指定使用密钥或密码的方式登录ECS后台。 登录MRS集群中的节点支持远程登录(VNC方式)和使用密钥或密码方式(SSH方式),远程登录主要用于紧急运维场景,远程登录弹性云服务器进行相关维护操作。其他场景下,建议用户采用SSH方式登录。 集群节点简介
通过直接添加具体配置项的参数调用脚本。 作业模板方式: 修改作业模板中所有配置项的参数值,调用脚本时引用修改后的作业模板文件。 Loader客户端安装后,系统自动在“Loader客户端安装目录/loader-tools-1.99.3/loader-tool/job-config/”目录生成各种场景对
通过直接添加具体配置项的参数调用脚本。 作业模板方式: 修改作业模板中所有配置项的参数值,调用脚本时引用修改后的作业模板文件。 Loader客户端安装后,系统自动在“Loader客户端安装目录/loader-tools-1.99.3/loader-tool/job-config/”目录生成各种场景对
问题 为什么在Zookeeper服务器上启用安全的netty配置时,四个字母的命令不能与linux的netcat命令一起使用? 例如: echo stat |netcat host port 回答 Linux的netcat命令没有与Zookeeper服务器安全通信的选项,所以当启用安
配置Hive目录旧数据自动移除至回收站 操作场景 此功能适用于Hive组件。 开启此功能后,执行写目录:insert overwrite directory "/path1" ...,写成功之后,会将旧数据移除到回收站,并且同时限制该目录不能为Hive元数据库中已经存在的数据库路径。
配置Hive目录旧数据自动移除至回收站 开启Hive目录旧数据自动移除至回收站功能,执行写目录insert overwrite directory "/path1" ...命令成功之后,会将旧数据移除到回收站,并且同时限制该目录不能为Hive元数据库中已经存在的数据库路径。 操作步骤
只读模式(如设备有坏扇区、文件系统存在故障等原因),则触发此告警。 系统如果检测到挂载服务目录的设备分区的只读模式消失(比如文件系统修复为读写模式、设备拔出、设备被重新格式化等原因),则告警恢复。 告警属性 告警ID 告警级别 可自动清除 12015 严重 是 告警参数 参数名称
Impalad的session连接长时间没使用,但连接没有自动断开 问题 使用JDBC连接Impala执行查询后,Impalad的session连接长时间没提交查询,但连接没有自动断开。 回答 如果要永久生效,登录Manager界面,选择“集群 > 服务 > Impala > 配置
只读模式(如设备有坏扇区、文件系统存在故障等原因),则触发此告警。 系统如果检测到挂载服务目录的设备分区的只读模式消失(比如文件系统修复为读写模式、设备拔出、设备被重新格式化等原因),则告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12015 重要 是 告警参数 参数名称