检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图7 查看版本号 命令方式 以root用户登录Manager主OMS节点。 主OMS节点的IP地址信息可在Manager的“主机”页面中查看带有标志的主机信息。 执行如下命令,查看Manager的版本号及平台信息。
consumer实际上是靠存储在zk中的临时节点来表明针对哪个topic的哪个partition拥有读权限的。所在路径为:/consumers/consumer-group-xxx/owners/topic-xxx/x。
zookeeper.quorum 配置连接ZooKeeper节点的IP地址和端口,参数值格式为“IP1:port,IP2:port,IP3:port”,以此类推。默认端口号为“2181”。
使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev.mysql.com
使用root用户登录安装了集群客户端的节点。
使用集群安装用户登录集群客户端节点。
在JDBCServer节点上分别创建“/home/data”文件,内容如下: Miranda,32 Karlie,23 Candice,27 确保其对启动JDBCServer的用户有读写权限。
图1 添加ClickHouse SQL防御规则 登录安装有ClickHouse客户端的节点,执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令,配置环境变量。
以root用户登录告警所在节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行ll 路径名命令,其中路径名为2获取到的异常文件,获取到该文件或者目录在主机上的当前的用户,权限,用户组等信息。
如果节点中挂载多个磁盘,则在每个磁盘配置一个Spark的localDir,这将有效分散Shuffle文件的存放,提高磁盘I/O的效率。如果只有一个磁盘,配置了多个目录,性能提升效果不明显。 Collect小数据 大数据量不适用collect操作。
因此建议根据集群中的NodeManager节点的CPU核数适当调整Direct buffer Memory,例如在CPU核数为40时,将Direct buffer Memory配置为512M。
配置不合理可能出现节点OOM导致业务受损。 0.8 4u16G:0.6 8u32G:0.7 16u64G:0.8 32u128G及以上:0.9 是 父主题: ClickHouse数据库调优
操作步骤 以“omm”用户登录集群内任意节点。 执行以下命令,防止超时退出。 TMOUT=0 执行完本章节操作后,请及时恢复超时退出时间,执行命令TMOUT=超时退出时间。例如:TMOUT=600,表示用户无操作600秒后超时退出。 执行以下命令,导出环境变量。
如果节点中挂载多个磁盘,则在每个磁盘配置一个Spark的localDir,这将有效分散Shuffle文件的存放,提高磁盘I/O的效率。如果只有一个磁盘,配置了多个目录,性能提升效果不明显。 Collect小数据 大数据量不适用collect操作。
如果节点中挂载多个磁盘,则在每个磁盘配置一个Spark的localDir,这将有效分散Shuffle文件的存放,提高磁盘I/O的效率。如果只有一个磁盘,配置了多个目录,性能提升效果不明显。 Collect小数据 大数据量不适用collect操作。
在客户端安装节点下创建文件目录:“/home/data”。将上述文件上传到此“/home/data”目录下。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息,格式为IP:port。
使用集群安装用户登录集群客户端节点。
使用root用户登录安装了集群客户端的节点。
使用集群安装用户登录集群客户端节点。 cd /opt/client source bigdata_env 创建输入Topic和输出Topic,与样例代码中指定的Topic名称保持一致,输出Topic的清理策略设置为compact。
peak_memory_bytes bigint 所有BE节点使用的内存峰值,单位为字节。 stmt string 具体执行的SQL语句信息。 reserve1 string 保留字段1。 reserve2 string 保留字段2。 父主题: Doris运维管理