检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
主要从以下几个方面保障用户的数据和业务运行安全。 网络隔离 整个系统部署在公有云上的虚拟私有云中,提供隔离的网络环境,保证集群的业务、管理的安全性。结合虚拟私有云的子网划分、路由控制、安全组等功能,为用户提供高安全、高可靠的网络隔离环境。 资源隔离 MRS服务支持资源专属区内部署
MRS集群租户资源最小值为0时只能同时运行一个任务吗? 问: MRS集群的租户资源最小值设置为0后,只能同时运行一个Spark任务吗? 答: 租户资源最小值改为0后,只能同时运行一个Spark任务。 父主题: 作业管理类
弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。 申请弹性IP,绑定新申请的弹性云主机IP,并配置安全组出入规则。 下载客户端程序,请参考下载MRS客户端。
BulkLoad批量加载功能采用了MapReduce jobs直接生成符合HBase内部数据格式的文件,然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。 ImportTSV是一个HBase的表数据加载工具。 前提条件 在执行批量加载时需要通过“Dimporttsv
集群客户端进行使用,但是一直提示网络或者参数有问题。 原因分析 可能是两台主机处于不同VPC网络中。 密码填写错误。 远端主机开启了防火墙。 处理步骤 两台主机处于不同VPC网络中 放开远端主机的22端口。 密码填写错误 请检查密码是否正确,密码中不能有特殊符号。 远端主机开启防火墙
添加ClickHouse数据源 ClickHouse数据源中同一个Schema(或Database)下不能存在名字内容相同但大小写格式不同的Table,例如:cktable(小写)、CKTABLE(大写)和CKtable(大小写混合),该内容的Table只能有一个,否则HetuE
主机 > 网络读信息 > 网络读吞吐率 > 读吞吐率”修改阈值。 平滑次数为1,网络读吞吐率小于或等于阈值时,告警恢复;平滑次数大于1,网络读吞吐率小于或等于阈值的90%时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 12049 严重 是 告警参数 参数名称 参数含义 ServiceName
主机 > 网络写信息 > 网络写吞吐率 > 写吞吐率”修改阈值。 平滑次数为1,网络写吞吐率小于或等于阈值时,告警恢复;平滑次数大于1,网络写吞吐率小于或等于阈值的90%时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 12050 严重 是 告警参数 参数名称 参数含义 ServiceName
Zookeeper方法,需注释掉main函数中的“testConnectApacheZk”方法。 使用“testConnectHive”方法访问FusionInsight ZooKeeper前需执行如下操作: 修改JDBCExample中“init”方法中的“USER_NAME”参数的值。
Zookeeper方法,需注释掉main函数中的“testConnectApacheZk”方法。 使用“testConnectHive”方法访问FusionInsight ZooKeeper前需执行如下操作: 修改JDBCExample中“init”方法中的“USER_NAME”参数的值。
allow-access-address”中添加该客户端所在节点的IP。若集群未开启Kerberos认证则无需修改该配置项。 配置客户端网络连接。 当客户端所在主机不是集群中的节点时,配置客户端网络连接,可避免执行客户端命令时出现错误。 确认客户端与服务端各个主机网络上互通。 将服务端主机名与I
Zookeeper方法,需注释掉main函数中的“testConnectApacheZk”方法。 使用“testConnectHive”方法访问FusionInsight ZooKeeper前需执行如下操作: 修改JDBCExample中“init”方法中的“USER_NAME”参数的值。
Zookeeper方法,需注释掉main函数中的“testConnectApacheZk”方法。 使用“testConnectHive”方法访问FusionInsight ZooKeeper前需执行如下操作: 修改JDBCExample中“init”方法中的“USER_NAME”参数的值。
批量加载功能采用了MapReduce jobs直接生成符合HBase内部数据格式的文件,然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。 ImportTSV是一个HBase的表数据加载工具。 本章节适用于MRS
eeper、文件系统和网络依然可用。 场景介绍 Replication机制可以使用WAL将一个集群的状态与另一个集群的状态保持同步。启用HBase备份后,如果主集群出现故障,ReplicationSyncUp工具会使用来自ZooKeeper的信息将主集群中的启用HBase备份功能
主集群HBase故障后,主集群的ZooKeeper,文件系统和网络依然可用。 场景介绍 Replication机制可以使用WAL将一个集群的状态与另一个集群的状态保持同步。启用HBase备份后,若主集群出现故障,ReplicationSyncUp工具会使用来自ZooKeeper的信息将主集群中的启用HBase备份功能
Spark CBO调优 操作场景 SQL语句转化为具体执行计划是由SQL查询编译器决定的,同一个SQL语句可以转化成多种物理执行计划,如何指导编译器选择效率最高的执行计划,这就是优化器的主要作用。传统数据库(例如Oracle)的优化器有两种:基于规则的优化器(Rule-Based
HBase占用网络端口,连接数过大会导致其他服务不稳定 问题 HBase占用网络端口,连接数过大会导致其他服务不稳定。 回答 使用操作系统命令lsof或者netstat发现大量TCP连接处于CLOSE_WAIT状态,且连接持有者为HBase RegionServer,可能导致网络端口耗尽
HBase操作请求次数指标中的多级图表统计如何理解? 问: HBase操作请求次数指标中的多级图表统计如何理解? 答: 以“RegionServer级别操作请求次数”监控项为例: 登录FusionInsight Manager,选择“集群 > 服务 > HBase > 资源”,在
> 网络写包错误率 > 写包错误率”中更改告警阈值。 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行4。 检查网络是否异常。 联系系统管理员,检查网络是否存在异常。 是,恢复网络故障,执行5。 否,执行6 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行6 收集故障信息。