检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置并导入样例工程 背景信息 获取ClickHouse开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 操作场景 ClickHouse针对多个场景提供样例工程,帮助客户快速学习ClickHouse工程。 操作步骤 在应用开发环境中,导入代码样例工程到IntelliJ
设置属性 功能介绍 可以通过Properties设置连接属性。 如下样例代码设置socket超时时间为60s, 设置不使用SSL。 代码样例 Properties clickHouseProperties = new Properties(); clickHouseProperties
集群扩容的情况。比如当前只有3台host,每台host有1块盘。如果Bucket的数量只设置为3或更小,那么后期即使再增加机器,也不能提高并发度。 举一些例子:假设在有10台BE,每台BE一块磁盘的情况下。如果一个表总大小为500MB,则可以考虑4-8个分片。5GB:8-16个分
select数据超过1亿条后,建议拆分为多个insert into select语句执行,分成多个批次来执行。如果非要这样执行不可,必须在集群资源相对空闲的时候可以通过调整并发度来加快的数据导入速度 。 例如:set parallel_fragment_exec_instance_num = 8 建议数值是单BE节点上CPU内核的一半。
rrency配置限制了一个作业的最大的导入并发数。最小处理的数据量(默认64M),最大并发数,源文件的大小和当前集群BE的个数 共同决定了本次导入的并发数。 本次导入并发数=Math.min(源文件大小/最小处理量(默认64M),最大并发数,当前BE节点个数)。 本次导入单个BE
、气象等行业。 CloudTable提供基于Doris全托管的实时数仓服务,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也可以支持高吞吐的复杂分析场景。因此,Doris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景
此BE上的危险水位用于BE主动拒绝和停止某些操作,达到自我保护的目的。请参见磁盘空间管理。 影响 太迟钝,会造成磁盘间数据量差异较大,影响并发性能。 太频繁,会产生大量垃圾文件,占用磁盘,需同步调整垃圾文件超时时间。 父主题: 通用类
、气象等行业。 CloudTable提供基于Doris全托管的实时数仓服务,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也可以支持高吞吐的复杂分析场景。因此,Doris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景
getTableRegions(tableName); Collections.shuffle(tableRegions); // 创建线程池,并发复制数据 BlockingQueue<Runnable> workQueue = new LinkedBlockingQueue<Runnable>(10000);
访问CloudTable HBase集群报错,hmaster域名不识别? 问题现象 访问CloudTable HBase集群报错,hmaster域名不识别。 原因分析 运行程序的机器上没有配置CloudTable HBase实例节点的内网域名和ip映射,导致无法识别hmaster节点的内网域名,链接异常。
开发流程 本文档主要介绍在CloudTable集群模式下如何调用HBase开源接口进行Java应用程序的开发。 开发流程中各阶段的说明如图1和表1所示。 图1 应用程序开发流程 表1 应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解HBase的基本概念,了解场景需求,设计表等。
CloudTable HBase存储的是原始数据吗? CloudTable HBase服务存储的是原始数据,支持使用压缩存储,支持的压缩算法有SNAPPY和GZ。CloudTable HBase不会对原始数据做加解密处理,如果需要数据加解密,请在应用程序的业务代码侧实现。 父主题:
向分布式表写数据时待插入数据的文件个数。 Count 60 number_of_concurrency ClickHouse各节点并发度 当前ClickHouse各节点的并发度。 Count 60 zookeeper_quota_percentage ZooKeeper数量配额百分比 Cli
集群高可用 开启集群高可用:在单个节点(分片)提供2个副本,默认3个Zookeeper节点。 关闭集群高可用:提供单节点clickhouse,仅用于测试,单节点clickhouse提供一个副本、一个分片,不支持节点扩容,该模式不可用于生产环境。 说明: 单节点不支持扩容,不支持数据迁移。 单节点用户非生产环境。
当集群存储达到某一阈值后,如果继续向存储写入数据,存储会写满,可能会导致性能以及其他功能问题。因此需要给集群设置阈值,当达到设置的阈值后,集群进入只读模式,并发出告警提示用户及时处理集群状态。阀值默认值是85%,取值范围70到90之间。 说明: Core节点存储规格为“普通IO”时,不支持只读模式。
不允许多个线程在同一时间共用同一个HTable实例。HTable是一个非线程安全类,因此,同一个HTable实例,不应该被多个线程同时使用,否则可能会带来并发问题。 父主题: 样例代码说明
Thrift Server概述 HBase ThriftServer是一个运行在HBase集群上的服务程序,它通过Thrift接口提供对HBase数据库的访问,它可以将不同语言的代码生成为对应的客户端和服务端代码。 Thrift Serve特性仅支持HBase 2.4.14及以上版本。
Stream Load Stream load是一个同步的导入方式,用户通过发送HTTP协议发送请求将本地文件或数据流导入到Doris中。Stream load同步执行导入并返回导入结果。用户可直接通过请求的返回体判断本次导入是否成功。 Stream load主要适用于导入本地文件,或通过程序导入数据流中的数据。
Doris规格约束 规格 当Doris集群中FE节点故障数大于等于一半或故障BE数量大于等于3时,Doris集群为异常状态。 查询超时时间默认为300秒。如果在300秒内未完成查询,该查询将被Doris系统取消。用户可以使用此参数自定义应用程序的超时时间,并实现类似等待(超时)的阻塞模式。
HBase快速入门 HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统。本章节提供从零开始使用HBase的操作指导:通过HBase Shell命令实现创建表,往表中插入数据,修改表,读取表数据,删除表中数据以及删除表的功能。 背景信息 假定用户开发一个应用程序,用于管