检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看调测结果 运行结果中没有异常或失败信息即表明运行成功。 图1 运行成功 日志说明:日志级别默认为INFO,可以通过调整日志打印级别(DEBUG,INFO,WARN,ERROR,FATAL)来显示更详细的信息。可以通过修改log4j.properties文件来实现,如: hbase
查看调测结果 运行结果中没有异常或失败信息即表明运行成功。 图1 运行成功 在Windows环境运行样例代码时会出现下面的异常,但是不影响业务: java.io.IOException: Could not locate executable null\bin\winutils.exe
功能简介 要从表中读取数据,首先需要实例化该表对应的Table实例,然后创建一个Scan对象,并针对查询条件设置Scan对象的参数值,为了提高查询效率,最好指定StartRow和StopRow。查询结果的多行数据保存在ResultScanner对象中,每行数据以Result对象形
功能介绍 要从表中读取数据,首先需要实例化该表对应的Table实例,然后创建一个Scan对象,并针对查询条件设置Scan对象的参数值,为了提高查询效率,最好指定StartRow和StopRow。查询结果的多行数据保存在ResultScanner对象中,每行数据以Result对象形
使用索引可提高查询性能。 Filter_Condition(IndexCol1)OR Filter_Condition(IndexCol1)OR Filter_Condition(IndexCol1) 对非索引和非索引列进行过滤时,无法命中索引,查询性能不会提高。 Filte
快速建表,即创建表后整张表只有一个Region,随着数据量的增加会自动分裂成多个Region。 预分Region建表,即创建表时预先分配多个Region,此种方法建表可以提高写入大量数据初期的数据写入速度。 表名以及列族名不能包含特殊字符,可以由字母、数字以及下划线组成。 代码样例 public void testCreateTable()
快速建表,即创建表后整张表只有一个Region,随着数据量的增加会自动分裂成多个Region。 预分Region建表,即创建表时预先分配多个Region,此种方法建表可以提高写入大量数据初期的数据写入速度。 表名以及列族名不能包含特殊字符,可以由字母、数字以及下划线组成。 代码样例 public void testCreateTable()
考虑集群扩容的情况。比如当前只有3台host,每台host有1块盘。如果Bucket的数量只设置为3或更小,那么后期即使再增加机器,也不能提高并发度。 举一些例子:假设在有10台BE,每台BE一块磁盘的情况下。如果一个表总大小为500MB,则可以考虑4-8个分片。5GB:8-16
-- (0,0.8) 0.2 数据缓存所占的RegionServer GC -Xmx百分比,在读高负载情况下可以适当调大以增大缓存命中率以提高性能。默认值为“0.2”,表示使用RegionServer GC -Xmx的20%。 hbase.regionserver.handler
海量大数据场景下,随着业务和数据量的不断增长,数据存储与消耗的资源也日益增长。根据业务系统中用户对不同时期数据的不同使用需求,对膨胀的数据本身进行“冷热”分级管理,不仅可以提高数据分析性能还能降低业务成本。 背景 在数据分析的实际场景中,冷热数据面临着不同的查询频次及响应速度要求。而随着历史数据的不断增多,如果我
同的文件夹,文件夹内每列数据为不同的独立文件,以及创建数据的序列化索引排序记录文件。该结构使得数据读取时能够减少数据检索时的数据量,极大的提高查询效率。 RelacingMergeTree 用于解决MergeTree表引擎相同主键无法去重的问题,可以删除主键值相同的重复项。 CollapsingMergeTree
VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 子网 子网信息,创建集群时所选。 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。 安全组 显示创建集群时所选择的安全组信息。 表3 FE节点配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计
CloudTable会优先查询热存储中的数据。只有当热存储中的行数小于要查询的最小行数时,才会查询冷存储中的数据。这样,减少了冷存储的访问提高了响应速度。 Shell hbase(main):001:0> scan 'hot_cold_table', {STARTROW =>'row1'
多,如果我们将所有数据存储在本地,将造成大量的资源浪费。冷热分离特性可将冷热数据分开存储,将冷热数据分别存储在成本不同的存储介质上。热数据提高时效数据的查询速度和响应能力,冷数据降低存储成本。我们还可以根据实际业务需求进行灵活的配置和调整,以满足不同场景的要求。冷热分离一般适用于以下需求场景:
VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 子网 子网信息,创建集群时所选。 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。 安全组 显示创建集群时所选择的安全组信息。 表3 Master节点配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规
有云”进入虚拟私有云,创建一个新的虚拟私有云。 子网 指定虚拟私有云的一个子网。 集群使用子网实现与其他网络的隔离,并独享所有网络资源,以提高网络安全。 安全组 安全组用来实现安全组内和安全组间弹性云服务器的访问控制,加强弹性云服务器的安全保护。用户可以在安全组中定义各种访问规则
关于虚拟私有云的更多信息,请参见虚拟私有云的“用户指南 > 虚拟私有云和子网 > 创建虚拟私有云和子网”。 子网 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。 创建虚拟私有云时会创建一个子网。如需创建新的子网,请参见虚拟私有云的“用户指南 > 虚拟私有云和子网 > 为虚拟私有云创建新的子网”。
有云”进入虚拟私有云,创建一个新的虚拟私有云。 子网 指定虚拟私有云的一个子网。 集群使用子网实现与其他网络的隔离,并独享所有网络资源,以提高网络安全。 安全组 安全组用来实现安全组内和安全组间弹性云服务器的访问控制,加强弹性云服务器的安全保护。用户可以在安全组中定义各种访问规则
VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 子网 子网信息,创建集群时所选。 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。 安全组 显示创建集群时所选择的安全组信息。 表3 计算节点参数说明 参数 参数说明 云存储 计算规格 请根据业务需求合理选择计
性能优势:ClickHouse采用列存储,相同列的数据属于同一类型,有利于获得更高的数据压缩比。通常可以达到10:1的压缩比,大幅降低存储成本和读取开销,提高查询性能。 副本机制:ClickHouse利用Zookeeper,通过ReplicatedMergeTree引擎(Replicated系列