检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 准备连接Hive集群配置文件 配置并导入样例工程 HIve提供了不同场景下的多种样例程序,用户可获取样
HBase故障排除 HBase客户端连接服务端时长时间无法连接成功 在HBase连续对同一个表名做删除创建操作时出现创建表异常 HBase占用网络端口,连接数过大会导致其他服务不稳定 有210000个map和10000个reduce的HBase BulkLoad任务运行失败 使用sc
主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装客户端时: Linux环境已安装JDK,版本号需要和IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在Linux环境所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
下“conf”目录hbase-site.xml文件。 访问Kafka,仅需将应用访问的Kafka Broker地址设置为cluster2中的Kafka Broker地址即可。 同时访问两个集群的HDFS: 无法同时获取两个相同nameservice的token,因此两个HDFS的
安装Flume客户端 使用Flume搜集日志时,需要在日志主机上安装Flume客户端。用户可以创建一个新的ECS并安装Flume客户端。 前提条件 已创建包含Flume组件的集群。 日志主机需要与MRS集群在相同的VPC和子网。 已获取日志主机的登录方式。 安装目录可以不存在,会
接MRS集群,配置文件通常包括集群组件信息文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 准备连接Hive集群配置文件 配置并导入样例工程 Hive提供了不同场景下的多种样例程序,用户可获取样
client-write-packet-size 客户端写包的大小。当HDFS Client往DataNode写数据时,将数据生成一个包。然后将这个包在网络上传出。此参数指定传输数据包的大小,可以通过各Job来指定。单位:字节。 在万兆网部署下,可适当增大该参数值,来提升传输的吞吐量。 262144
原因分析 在出现告警时间点发现虚拟机发生了重启,告警发生的原因是因虚拟机重启导致的。 经OS定位虚拟机发生重启的原因是节点没有可用的内存,系统发生内存溢出触发了oom-killer,当进程处于被调用的状态会使进程处于disk sleep状态,最终导致虚拟机发生重启。 查看占用的内存进程,发现占用内存都是正常的业务进程。
/etc/HOSTNAME”文件的WebHCat配置需与“/etc/hosts”保持一致,若不一致则需手动修改。 WebHCat实例的IP地址及主机名称映射关系可登录FusionInsight Manager界面,选择“集群 > 服务 > Hive > 实例”查看。 登录WebH
v/BigData/namenode/current”。 在HDFS服务页面选择“实例”页签,查看并记录主备NameNode节点的业务IP地址。 以root用户登录发生故障的备NameNode节点,将1获取的数据目录中的fsimage文件进行备份。例如备份到“/srv/BigData/namenode/current
下“conf”目录hbase-site.xml文件。 访问Kafka,仅需将应用访问的Kafka Broker地址设置为cluster2中的Kafka Broker地址即可。 同时访问两个集群的HDFS: 无法同时获取两个相同nameservice的token,因此两个HDFS的
表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,支持Windows 7以上版本。 开发和运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。
包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 准备连接IoTDB集群配置文件 配置并导入样例工程 IoTDB提供了不同场景下的多种样例程序,用户可获
表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,支持Windows 7以上版本。 开发和运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。
息连接MRS集群,配置文件通常包括集群信息文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 准备ClickHouse应用运行环境 配置并导入样例工程 ClickHouse提供了不同场景下的样例程
包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 准备连接Kafka集群配置文件 配置并导入样例工程 Kafka提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。
表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,支持Windows 7以上版本。 开发和运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。
包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 准备连接HBase集群配置文件 配置并导入样例工程 HBase提供了不同场景下的多种样例程序,用户可获
Presto服务不可用可能由Presto Coordinator或Worker自身的进程故障引起。 Presto Coordinator和Worker实例间网络通信中断。 处理步骤 检查Coordinator/Worker进程状态。 在FusionInsight Manager首页,单击“集群 >
据分布式表schema定义数据分布规则,将数据异步发送到各个shard的各个副本。整个过程数据异步发送,且数据会在一个节点临时存储,会导致网络、磁盘都会成为瓶颈,且写入成功后不一定能查询到最新一致性数据等问题。 父主题: ClickHouse宽表设计