检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ZooKeeper、DBService、HDFS、Yarn、Mapreduce、Ranger、Hive、Spark2x、Kafka、Tez、HBase、Flink、Flume、Hue、meta、Guardian、Loader、ClickHouse、HetuEngine、CDL和IoTDB
iotdbgroup 将用户加入此用户组,可获得IoTDB组件的管理员权限。 kafka Kafka普通用户组。添加入本组的用户,需要被kafkaadmin组用户授予特定Topic的读写权限,才能访问对应Topic。 kafkaadmin Kafka管理员用户组。
iotdb Iotdb@123 IoTDB系统管理员用户,用户权限: IoTDB管理员权限: 创建或删除存储组 使用TTL IoTDB数据操作权限: 创建、修改、删除时间序列 对时间序列进行数据写入、读取、删除。
ZooKeeper,DBService,HDFS,Yarn,Mapreduce,Ranger,Hive,Spark2x,Kafka,Tez,HBase,Flink,Flume,Hue,meta,Guardian,Loader,ClickHouse,HetuEngine,CDL和IoTDB
IoTDB IoTDB的元数据。 LocalDir NFS RemoteHDFS CIFS SFTP ClickHouse ClickHouse的元数据。
IoTDB 依赖KrbServer CN(ConfigNode) 只能部署在Master节点上。 角色实例部署数量范围:3~9,步长为2。 IoTDBS(IoTDBServer) 所有节点均可部署。 角色实例部署数量范围:3~256。
ZooKeeper,DBService,HDFS,Yarn,Mapreduce,Ranger,Hive,Spark2x,Kafka,Tez,HBase,Flink,Flume,Hue,meta,Guardian,Loader,ClickHouse,HetuEngine,CDL和IoTDB
当前ClickHouse被广泛的应用于互联网广告、App和Web流量、电信、金融、物联网等众多领域,非常适用于商业智能化应用场景,在全球有大量的应用和实践,具体请参考:https://clickhouse.tech/docs/en/introduction/adopters/。
ZooKeeper、DBService、HDFS、Yarn、Mapreduce、Ranger、Hive、Spark2x、Kafka、Tez、HBase、Flink、Flume、Hue、meta、Guardian、Loader、ClickHouse、HetuEngine、CDL和IoTDB
表1 组件认证方式一览表 服务 认证方式 IoTDB simple认证 CDL 无认证 ClickHouse simple认证 Flume 无认证 HBase WebUI:无认证 客户端:simple认证 HDFS WebUI:无认证 客户端:simple认证 HetuEngine
3.1.0 3.1.0 Hudi(集成在Spark中) - 0.7.0 0.9.0 0.9.0 0.11.0 0.11.0 0.11.0 Hue 3.11.0 4.7.0 4.7.0 4.7.0 4.7.0 - - Impala - 3.4.0 - 3.4.0 - - 4.3.0 IoTDB
表1 普通模式组件鉴权一览表 服务 是否鉴权 是否支持开关鉴权 IoTDB 鉴权 不支持修改 ClickHouse 鉴权 不支持修改 Flume 无鉴权 不支持修改 HBase 无鉴权 支持修改 HDFS 鉴权 支持修改 HetuEngine 无鉴权 不支持修改 Hive 无鉴权
广泛用于互联网广告、App和Web流量、电信、金融、物联网等众多领域。 实时分析集群:实时分析集群使用Hadoop、Kafka、Flink和ClickHouse组件提供一个海量的数据采集、数据的实时分析和查询的系统。
服务不可用 ALM-45586 IoTDBServer堆内存使用率超过阈值 ALM-45587 IoTDBServer垃圾回收(GC)时间超过阈值 ALM-45588 IoTDBServer直接内存使用率超过阈值 ALM-45589 ConfigNode堆内存使用率超过阈值 ALM
/var/log/Bigdata/audit/iotdb/iotdbserver/log_audit.log Manager日志清单说明 日志存储路径:Manager相关日志的默认存储路径为“/var/log/Bigdata/Manager组件”。
Spark2x,HBase,Hive,Hue,Loader,Flink,Oozie,ZooKeeper,HetuEngine,Ranger,Tez,Kafka,Flume,Guardian 自定义集群包含的组件有:CDL,Hadoop,Spark2x,HBase,Hive,Hue,IoTDB
管理页面,可通过HSConsole界面快速添加如下数据源,配置数据源前请先参考HetuEngine交互查询引擎概述: 添加Hive数据源 添加Hudi数据源 添加ClickHouse数据源 添加GAUSSDB数据源 添加HBase数据源 添加跨集群HetuEngine数据源 添加IoTDB
使用Spark2x实现车联网车主驾驶行为分析 应用场景 本实践基于华为云MapReduce服务所编写,用于指导您了解MRS的基本功能,利用MRS服务的Spark2x组件,对车主的驾驶行为进行分析统计,得到用户驾驶行为的分析结果。 原始数据为车主的驾驶行为信息,包括车主在日常的驾驶行为中
停止JDBCServer 提示 43026 Spark ZooKeeper连接成功 提示 43027 Spark ZooKeeper连接异常 提示 43601 GraphBase GraphBase主备切换 次要 45002 HetuEngine QAS主备倒换 次要 45597 IoTDB
访问MRS集群Manager(2.x及之前版本) 访问MRS集群Manager场景 MRS集群提供Manager对集群进行监控、配置和管理,用户在集群安装后可使用admin用户登录Manager页面。 当前支持以下几种方式访问Manager,请根据实际情况进行选择: 通过弹性IP访问