检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何迁移OBS/S3的数据到ClickHouse 使用辅助Zookeeper或者副本数据同步表数据时,日志报错 如何为ClickHouse用户赋予数据库级别的Select权限 ClickHouse长时间并发满,导致不可服务,如何快速恢复 父主题: 使用ClickHouse
HDFS HDFS基本原理 HDFS HA方案介绍 HDFS与其他组件的关系 HDFS开源增强特性 父主题: 组件介绍
使用Storm 从零开始使用Storm 使用Storm客户端 使用客户端提交Storm拓扑 访问Storm的WebUI 管理Storm拓扑 查看Storm拓扑日志 Storm常用参数 配置Storm业务用户密码策略 迁移Storm业务至Flink Storm日志介绍 性能调优
Hudi SQL语法参考 Hudi SQL使用约束 Hudi DDL语法说明 Hudi DML语法说明 Hudi CALL COMMAND语法说明 Hudi TTL语法说明 父主题: 使用Hudi
Flink企业级能力增强 Flink SQL语法增强 多流Join场景支持配置表级别的TTL时间 配置Flink SQL Client支持SQL校验功能 Flink作业大小表Join能力增强 FlinkSQL OVER窗口支持超期退窗 FlinkSQL Kafka和upsert-kafka
MapReduce开发指南 MapReduce应用开发概述 准备MapReduce应用开发环境 开发MapReduce应用 调测MapReduce应用 MapReduce应用开发常见问题
Storm开发指南 Storm应用开发概述 准备Storm应用开发环境 开发Storm应用 调测Storm应用 Storm应用开发常见问题
使用HDFS HDFS文件系统目录简介 HDFS用户权限管理 HDFS客户端使用实践 快速使用Hadoop 配置HDFS文件回收站机制 配置HDFS DataNode数据均衡 配置HDFS DiskBalancer磁盘均衡 配置HDFS Mover命令迁移数据 配置HDFS文件目录标签策略(NodeLabel)
KrbServer及LdapServer KrbServer及LdapServer基本原理 KrbServer及LdapServer开源增强特性 父主题: 组件介绍
配置Flume加密传输数据采集任务 配置Flume加密传输 使用多级agent串联从本地采集静态日志保存到HDFS 父主题: 使用Flume
使用Oozie客户端提交作业 Oozie客户端配置说明 使用Oozie客户端提交Hive任务 使用Oozie客户端提交Spark2x任务 使用Oozie客户端提交Loader任务 使用Oozie客户端提交DistCp任务 使用Oozie客户端提交其它任务 父主题: 使用Oozie
息。 图表页面可直接查看该主机的全量监控图表信息 进程页面显示了当前主机上已部署服务实例的角色进程信息,例如进程状态、PID、进程运行时间等,并可直接在线查看各进程的日志文件内容。 主机资源页面显示了当前主机上已部署服务实例的详细资源使用情况,包括CPU,内存,磁盘和端口情况。
管理MRS集群 MRS集群管理概述 MRS集群Manager简介 访问MRS集群Manager 管理MRS集群 管理MRS集群组件 管理MRS集群节点 管理MRS集群客户端 管理MRS集群作业 管理MRS集群租户 管理MRS集群用户 管理MRS集群元数据 管理MRS集群静态服务资源
修改MRS集群系统用户密码 修改或重置MRS集群admin用户密码 修改MRS集群节点操作系统用户密码 修改MRS集群Kerberos管理员用户密码 修改MRS集群Manager用户密码 修改MRS集群LDAP普通用户密码 修改MRS集群LDAP管理账户密码 修改MRS集群组件运行用户密码
安装Flume客户端 使用Flume搜集日志时,需要在日志主机上安装Flume客户端。用户可以创建一个新的ECS并安装Flume客户端。 前提条件 已创建包含Flume组件的集群。 日志主机需要与MRS集群在相同的VPC和子网。 已获取日志主机的登录方式。 安装目录可以不存在,会
对于不同业务负载的业务,需要分开集群部署,便于不同负载的业务进行资源隔离。 集群并发 由于ClickHouse单个SQL会最大化使用每个主机上的CPU/内存/IO资源,对于复杂SQL查询(复杂聚合、复杂join计算)能够支持50~100并发,对于简单的SQL查询,支持100~200左右查询。
如果某个主机节点的运行状态不是良好,用户可以执行主机健康检查,快速确认某些基本功能是否存在异常。在日常运维中,管理员也可以执行主机健康检查,以保证主机上各角色实例的配置参数以及监控没有异常、能够长时间稳定运行。 执行集群节点健康检查(3.x及之后版本) 登录FusionInsight Manager。
数据分析 使用Spark2x实现车联网车主驾驶行为分析 使用Hive加载HDFS数据并分析图书评分情况 使用Hive加载OBS数据并分析企业雇员信息 通过Flink作业处理OBS数据 通过Spark Streaming作业消费Kafka数据 通过Flume采集指定目录日志系统文件至HDFS
网络读信息 读包错误率 统计采集周期内该主机上该网口的读包错误率。 0.5% 读包丢包率 统计采集周期内该主机上该网口的读包丢包率。 0.5% 读吞吐率 统计周期内网口的平均读吞吐率(MAC层)。 80% 网络写信息 写包错误率 统计采集周期内该主机上该网口的写包错误率。 0.5% 写包丢包率
ClickHouse系统调优 通过FusionInsight Manager查看主机上的CPU、内存、I/O和网络资源使用情况,确认这些资源是否已被充分利用,分以下几种情况: 每个节点资源占用都比较均匀 通过观察资源在每个节点都使用比较均匀,说明系统资源使用比较正常,可以先不关注