检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IoTDB 依赖KrbServer CN(ConfigNode) 只能部署在Master节点上。 角色实例部署数量范围:3~9,步长为2。 IoTDBS(IoTDBServer) 所有节点均可部署。 角色实例部署数量范围:3~256。
ZooKeeper、DBService、HDFS、Yarn、Mapreduce、Ranger、Hive、Spark2x、Kafka、Tez、HBase、Flink、Flume、Hue、meta、Guardian、Loader、ClickHouse、HetuEngine、CDL和IoTDB
表1 普通模式组件鉴权一览表 服务 是否鉴权 是否支持开关鉴权 IoTDB 鉴权 不支持修改 ClickHouse 鉴权 不支持修改 Flume 无鉴权 不支持修改 HBase 无鉴权 支持修改 HDFS 鉴权 支持修改 HetuEngine 无鉴权 不支持修改 Hive 无鉴权
3.1.0 3.1.0 Hudi(集成在Spark中) - 0.7.0 0.9.0 0.9.0 0.11.0 0.11.0 0.11.0 Hue 3.11.0 4.7.0 4.7.0 4.7.0 4.7.0 - - Impala - 3.4.0 - 3.4.0 - - 4.3.0 IoTDB
表1 组件认证方式一览表 服务 认证方式 IoTDB simple认证 CDL 无认证 ClickHouse simple认证 Flume 无认证 HBase WebUI:无认证 客户端:simple认证 HDFS WebUI:无认证 客户端:simple认证 HetuEngine
服务不可用 ALM-45586 IoTDBServer堆内存使用率超过阈值 ALM-45587 IoTDBServer垃圾回收(GC)时间超过阈值 ALM-45588 IoTDBServer直接内存使用率超过阈值 ALM-45589 ConfigNode堆内存使用率超过阈值 ALM
LYUAN.LYUAN_L2_LOT_PLAN_DETAIL_CA表增加字段后,使用insert into table xxx select xxx from xxx语句插入数据后,分区值插入到了其他字段。 无法获取包含genericUDF执行计划的json格式。
/var/log/Bigdata/audit/iotdb/iotdbserver/log_audit.log Manager日志清单说明 日志存储路径:Manager相关日志的默认存储路径为“/var/log/Bigdata/Manager组件”。
Spark2x,HBase,Hive,Hue,Loader,Flink,Oozie,ZooKeeper,HetuEngine,Ranger,Tez,Kafka,Flume,Guardian 自定义集群包含的组件有:CDL,Hadoop,Spark2x,HBase,Hive,Hue,IoTDB
Kafka数据消费概述 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据
Kafka基本原理 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)
切换MRS集群VPC子网 MRS支持当子网IP不足时,切换子网到当前集群相同VPC下的其他子网,实现可用子网IP的扩充。切换子网不会影响当前已有节点的IP地址和子网。 如需对网络ACL出规则进行配置请参考如何配置网络ACL出规则?。 未关联网络ACL时切换子网 登录MRS管理控制台
什么是MapReduce服务 大数据是人类进入互联网时代以来面临的一个巨大问题:社会生产生活产生的数据量越来越大,数据种类越来越多,数据产生的速度越来越快。传统的数据处理技术,比如说单机存储,关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题,Apache基金会推出了
管理页面,可通过HSConsole界面快速添加如下数据源,配置数据源前请先参考HetuEngine交互查询引擎概述: 添加Hive数据源 添加Hudi数据源 添加ClickHouse数据源 添加GAUSSDB数据源 添加HBase数据源 添加跨集群HetuEngine数据源 添加IoTDB
停止JDBCServer 提示 43026 Spark ZooKeeper连接成功 提示 43027 Spark ZooKeeper连接异常 提示 43601 GraphBase GraphBase主备切换 次要 45002 HetuEngine QAS主备倒换 次要 45597 IoTDB
滚动重启3个节点耗时约15分钟 Guardian 直接重启 请求Guardian失败,任务拿不到访问OBS的aksk 直接重启耗时约5分钟 滚动重启 滚动重启无影响 滚动重启10个节点耗时约10分钟 IoTDB 直接重启 重启期间无法进行数据的写入 直接重启耗时约5分钟 滚动重启
IoTDB 删除数据目录 该操作将会导致业务信息丢失。 请勿手动删除数据目录。 修改数据目录下内容(创建文件、文件夹) 该操作将会导致该节点上的IoTDB的实例故障。 请勿手动在数据目录下创建或修改文件及文件夹。 单独启停基础组件 该操作将会影响服务的一些基础功能导致业务失败。
Guardian 直接重启 请求Guardian失败,任务拿不到访问OBS的aksk 直接重启耗时约5分钟 滚动重启 滚动重启无影响 滚动重启10个节点耗时约10分钟 IoTDB 直接重启 重启期间无法进行数据的写入 直接重启耗时约5分钟 滚动重启 会影响数据的写入,在滚动重启前需停止写入数据
滚动重启3个节点耗时约15分钟 Guardian 直接重启 请求Guardian失败,任务拿不到访问OBS的aksk 直接重启耗时约5分钟 滚动重启 滚动重启无影响 滚动重启10个节点耗时约10分钟 IoTDB 直接重启 重启期间无法进行数据的写入 直接重启耗时约5分钟 滚动重启
表1 Ranger和MetaSore差异 权限管控方式 权限模型 支持的数据源 描述 Ranger PBAC Hive、HBase、Elasticsearch、GaussDB、HetuEngine、ClickHouse、IoTDB、Hudi、MySQL 支持行过滤、列脱敏以及更细粒度的权限管控