检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作场景 该任务指导用户使用Flume客户端从Kafka客户端的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参考配置Flume加密传输数据采集任务。
S 操作场景 该任务指导用户使用Flume服务端从Kafka的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参考
CREATE TABLE AS SELECT 命令功能 CREATE TABLE As SELECT命令通过指定带有表属性的字段列表来创建Hudi Table。 命令格式 CREATE TABLE [ IF NOT EXISTS] [database_name.]table_name
网络问题导致运行应用程序时出现异常 问题 应用程序在Windows环境下运行时,发现连接不上MRS集群,而在Linux环境下(和安装了MRS集群的机器是同一个网络)却运行正常。 回答 由于Kerberos认证需要使用UDP协议,而防火墙做了特殊处理关掉了需要使用的UDP端口,导致
集群时间可能会产生误差。 可能原因 NTP服务器网络异常。 与NTP服务器认证失败。 不能从NTP服务器获取时间。 从NTP服务器获取的时间持续未更新。 处理步骤 检查NTP服务器网络。 打开MRS集群详情页面,在实时告警列表中,单击此告警所在行。 在“告警详情”区域,查看告警
reduce服务,DBService、ZooKeeper、KrbServer及LdapServer等集群内部使用的组件,在创建集群时的组件列表中不呈现。 MRS组件的版本号通常与组件开源版本号保持一致。 MRS集群内各组件不支持单独升级,请根据实际需要选择对应版本的集群。 LTS(Long
配置Hive列加密功能 操作场景 Hive支持对表的某一列或者多列进行加密;在创建Hive表时,可以指定要加密的列和加密算法。当使用insert语句向表中插入数据时,即可实现将对应列加密。列加密只支持存储在HDFS上的TextFile和SequenceFile文件格式的表。Hive列加密不支持视图以及Hive
检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”、“节点故障”告警。 是,节点间网络不互通,请联系运维人员修复。 否,节点间网络互通,检查结束。 检查弹性伸缩是否关闭
HBase占用网络端口,连接数过大会导致其他服务不稳定 问题 HBase占用网络端口,连接数过大会导致其他服务不稳定。 回答 使用操作系统命令lsof或者netstat发现大量TCP连接处于CLOSE_WAIT状态,且连接持有者为HBase RegionServer,可能导致网络端口耗尽
> 主机 > 网络读信息 > 网络读包率信息 > 读包错误率”修改阈值。 平滑次数为1,网络读包错误率小于或等于阈值时,告警恢复;平滑次数大于1,网络读包错误率小于或等于阈值的90%时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 12047 严重 是 告警参数 参数名称
HBase占用网络端口,连接数过大会导致其他服务不稳定 问题 HBase占用网络端口,连接数过大会导致其他服务不稳定。 回答 使用操作系统命令lsof或者netstat发现大量TCP连接处于CLOSE_WAIT状态,且连接持有者为HBase RegionServer,可能导致网络端口耗尽
号(project_id),所以需要获取到项目编号。项目编号获取步骤如下: 登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 多项目时,展开“所属区域”,从“项目ID”列获取子项目ID。 图1 查看项目ID 调用API获取项目ID
> 阈值配置 > 设备 > 主机 > 网络读信息 > 网络读包率信息 > 读包丢包率”中更改告警阈值。 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行17。 检查网络是否异常。 联系系统管理员,检查网络是否存在异常。 是,恢复网络故障,执行18。 否,执行19 等待5分钟,检查该告警是否恢复。
> 主机 > 网络写信息 > 网络写包率信息 > 写包丢包率”修改阈值。 平滑次数为1,网络写包丢包率小于或等于阈值时,告警恢复;平滑次数大于1,网络写包丢包率小于或等于阈值的90%时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 12046 严重 是 告警参数 参数名称
> 主机 > 网络写信息 > 网络写包率信息 > 写包错误率”修改阈值。 平滑次数为1,网络写包错误率小于或等于阈值时,告警恢复;平滑次数大于1,网络写包错误率小于或等于阈值的90%时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 12048 严重 是 告警参数 参数名称
可能原因 HDFS服务重启、故障或网络故障导致Oozie与HDFS连接状态异常。 处理步骤 检查HDFS服务状态。 在FusionInsight Manager的服务列表中,查看HDFS运行状态是否为“良好”。 是,执行5。 否,执行2。 在告警列表中,查看是否有“ALM-14000
主要从以下几个方面保障用户的数据和业务运行安全。 网络隔离 整个系统部署在公有云上的虚拟私有云中,提供隔离的网络环境,保证集群的业务、管理的安全性。结合虚拟私有云的子网划分、路由控制、安全组等功能,为用户提供高安全、高可靠的网络隔离环境。 资源隔离 MRS服务支持资源专属区内部署
备DBService心跳IP地址命令检查备DBService服务器是否可达。 是,执行2。 否,执行1.e。 联系网络管理员查看是否为网络故障。 是,执行1.f。 否,执行2。 修复网络故障,查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行2。 收集故障信息。 在MRS Manager界面,单击“系统设置
查询WebHCat支持的返回类型列表。 URL http://www.myserver.com/templeton/:version 参数 参数 描述 :version WebHCat版本号(当前必须是v1)。 返回结果 参数 描述 responseTypes WebHCat支持的返回类型列表。 例子 curl
点的IP。若集群未开启Kerberos认证则无需修改该配置项。 配置客户端网络连接。 当客户端所在主机不是集群中的节点时,配置客户端网络连接,可避免执行客户端命令时出现错误。 确认客户端与服务端各个主机网络上互通。 将服务端主机名与IP映射关系添加到客户端的hosts文件中。 如