检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi关键技术和优势 可插拔索引机制:Hudi提供多种索引机制,可以快速完成对海量数据的更新和删除操作。 良好的生态支持:Hudi支持多种数据引擎接入包括Hive、Spark、Flink。
carbon.si.lookup.partialstring 当参数设置为TRUE时,二级索引采用starts-with、ends-with、contains和LIKE分区条件字符串。 当参数设置为FALSE时,二级索引只采用starts-with分区条件字符串。
Manager上,可以看到RegionServer有如下自定义配置: 原因分析 用户配置了Phoenix的索引功能,由于新节点没有Phoenix对应的jar包,导致找不到类,启动失败。 处理步骤 登录到正常的RegionServer节点,执行以下命令。
Oozie原理 Oozie是一个工作流引擎服务器,用于运行MapReduce任务工作流。同时Oozie还是一个Java Web程序,运行在Tomcat容器中。 Oozie工作流通过HPDL(一种通过XML自定义处理的语言,类似JBOSS JBPM的JPDL)来构造。
高级特性 过滤器、二级索引,协处理器。 管理功能 表管理、集群管理。 父主题: HBase应用开发概述
表1 HBase接口提供的功能 功能 说明 CRUD数据读写功能 增查改删 高级特性 过滤器、二级索引,协处理器 管理功能 表管理、集群管理 父主题: HBase应用开发概述
如果要更新的字段上建有索引,批量更新是不允许的。 如果不设置执行结果输出文件,默认是(/tmp/updatedata/表名)。 父主题: 增强HBase BulkLoad工具数据迁移能力
不支持批量更新已创建索引的字段的数据。 如果不设置执行结果输出文件,默认是“/tmp/updatedata/表名”。 父主题: 增强HBase BulkLoad工具数据迁移能力
通过调用HBase接口可实现创建用户表、导入用户数据、增加用户信息、查询用户信息及为用户表创建二级索引等功能,相关业务场景介绍请参见HBase样例程序开发思路。 hbase-examples/hbase-rest-example HBase Rest接口应用开发示例。
通过调用HBase接口可实现创建用户表、导入用户数据、增加用户信息、查询用户信息及为用户表创建二级索引等功能,相关业务场景介绍请参见HBase样例程序开发思路。 hbase-examples/hbase-rest-example HBase Rest接口应用开发示例。
说明: 分区列必须有索引,如果没有索引,请不要指定分区列,指定没有索引的分区列会导致数据库服务器磁盘I/O繁忙,影响其他业务访问数据库,并且导入时间长。 在有索引的多个字段中,选择字段值最离散的字段作为分区列,不离散的分区列会导致多个导入MR任务负载不均衡。
说明: 创建CarbonData表时,不要将列名命名为tupleId,PositionId和PositionReference,因为将在UPDATE,DELETE和二级索引命令内部使用这些名称。
提供类似SQL的Hive Query Language语言操作结构化数据,其基本原理是将HQL语言自动转换成MapReduce任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下: 海量结构化数据分析汇总。
说明: 创建CarbonData表时,不要将列名命名为tupleId,PositionId和PositionReference,因为将在UPDATE,DELETE和二级索引命令内部使用这些名称。
表7 使用索引缓存服务器时是否开启数据预加载 参数 carbon.indexserver.enable.prepriming 所属配置文件 carbon.properties 适用于 数据加载 场景描述 使用索引缓存服务器过程中开启数据预加载可以提升首次查询的性能。
表7 使用索引缓存服务器时是否开启数据预加载 参数 carbon.indexserver.enable.prepriming 所属配置文件 carbon.properties 适用于 数据加载 场景描述 使用索引缓存服务器过程中开启数据预加载可以提升首次查询的性能。
说明: 分区列必须有索引,如果没有索引,请不要指定分区列,指定没有索引的分区列会导致数据库服务器磁盘I/O繁忙,影响其他业务访问数据库,并且导入时间长。 在有索引的多个字段中,选择字段值最离散的字段作为分区列,不离散的分区列会导致多个导入MR任务负载不均衡。
当配置为false时,它只包括从二级索引开始。 carbon.si.segment.merge true 开启这个配置后会合并二级索引表segment内的.carbondata文件。合并发生在导入操作后,在二级索引表导入操作的最后,会检查小文件并合。
当配置为false时,它只包括从二级索引开始。 carbon.si.segment.merge true 开启这个配置后会合并二级索引表segment内的.carbondata文件。合并发生在导入操作后,在二级索引表导入操作的最后,会检查并合并小文件。
tsdb-meta 用于存储时间序列索引和元数据。 tsdb-tree 用于存储metric的结构信息。 tsdb-uid 用于存储UID映射,数据点中的每个metric,tag都会映射成UID,同时每个UID反向映射为metric,tag,这些映射关系存储在这个表中。