检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CREATE TABLE 此章节介绍如何创建表。 创建本地表 CREATE TABLE [IF NOT EXISTS] [database_name.]table_name [ON CLUSTER ClickHouse集群名] ( name1 [type1] [DEFAULT|MATERIALIZED
典型场景说明 通过典型场景,我们可以快速学习和掌握Doris的开发过程,并且对冷热分离的应用场景有所了解。 场景说明 假定用户开发一个网站系统,test_tbl用于实时用户访问网站的记录,记录数据如下表: 表1 原始数据 timestamp type error_code error_msg
INSERT INTO 本章节介绍如何插入数据。 基本语法 标准格式插入数据。 INSERT INTO [db.]table [(c1, c2, c3)] VALUES (v11, v12, v13), (v21, v22, v23), ... 对于存在于表结构中但不存在于插入列表中的列
开发思路 功能分解 根据典型场景说明中的业务进行功能分解,需要开发的功能点如下: 表1 冷热分离功能 步骤 代码实现 步骤1:创建自动归档冷数据策略。 请参见自动存储冷数据。 步骤2:数据表关联数据迁移策略。 请参见数据表关联策略。 步骤3:插入数据。 请参见插入数据。 步骤4:查询插入的数据
数据导入导出 本章节主要介绍使用ClickHouse客户端导入导出文件数据的基本语法和使用说明。 CSV格式数据导入导出 CSV格式数据导入。 非安全集群 cat csv_ssl | ./clickhouse client --host 192.168.x.x --port port
数据表复制样例代码 用户可以开发应用程序,通过调用HBase API接口的方式,将一个表的部分数据或全部数据复制到同一个集群或另一个集群中。目标表必须预先存在。 环境准备 要将表复制到另一个集群,请先获取CloudTable目标集群的“ZK链接地址(内网)”。 登录表格存储服务管理控制台
虚拟私有云 VPC信息,创建集群时所选。 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 子网 子网信息,创建集群时所选。 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。 安全组 显示创建集群时所选择的安全组信息。
Doris集群磁盘扩容 磁盘扩容,即纵向扩容,是一种扩容节点内磁盘容量的操作。一般来说,具体的数据存储在BE节点,当BE节点磁盘容量不足时,业务数据将无法存储,因此需要对节点进行纵向扩容。 磁盘扩容过程中,集群业务可能存在抖动。 前提条件 当集群状态处于“服务中”,且没有任何任务操作
Doris集群规格变更 Doris集群目前不支持计算节点CPU、内存规格升、降配,因此需要对Doris集群增加纵向扩容功能。 规格变更只支持从小规格变更为大规格,如果要大规格更改为小规格,建议新建小规格集群,采用数据迁移进行切换。 一次只支持变更一种类型的节点规格(BE、FE),且变更完成后只生效所选类型的节点规格
CloudTable的底层计算单元运行在一个VPC网络中,VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境,为您的数据提供了一层保护。
插入数据 功能介绍 如下示例代码通过循环batchNum次,构造示例数据并通过PreparedStatement的executeBatch()方法批量插入数据。 其中数据类型为创建的表所指定的三个字段,分别是String、UInt8和Date类型。 样例代码 String insertSql
创建表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin对象的createTable方法来创建表,并指定表名、列族名。创建表有两种方式(强烈建议采用预分Region建表方式): 快速建表,即创建表后整张表只有一个Region,随着数据量的增加会自动分裂成多个
删除表 功能介绍 删除在创建表中创建的副本表和分布式表。 样例代码 private void dropTable(String databaseName, String tableName, String clusterName) throws Exception { String
应用背景 CloudTable ClickHouse支持冷热数据分离特性。通过该特性,您可以将冷热数据分别存储在不同类型的存储介质中,以降低存储成本。 Hot(热数据):访问、更新频率较高,未来被调用的概率较高的数据,对访问的响应时间要求很高的数据。 Cold(冷数据):不允许更新或更新频率比较低
开发思路 功能分解 根据典型场景说明中的业务进行功能分解,需要开发的功能点如下: 表1 冷热分离功能 步骤 代码实现 步骤1:创建ClickHouse冷热分离表。 请参见创建ClickHouse冷热分离数据表。 步骤2:插入数据。 请参见插入验证数据。 步骤3:查询插入的数据。 请参见查询插入数据
全局二级索引API 使用全局索引的API都在类“org.apache.hadoop.hbase.hindex.global.GlobalIndexAdmin”中,相关接口介绍如下: 操作 接口 描述 添加索引 addIndices() 将索引添加到没有数据的表中。调用此接口会将用户指定的索引添加到表中
冷热分离概述 海量大数据场景下,随着业务和数据量的不断增长,数据存储与消耗的资源也日益增长。根据业务系统中用户对不同时期数据的不同使用需求,对膨胀的数据本身进行“冷热”分级管理,不仅可以提高数据分析性能还能降低业务成本。 背景 在数据分析的实际场景中,冷热数据面临着不同的查询频次及响应速度要求
节点重启 当CloudTable集群节点状态异常时,可通过执行重启节点操作尝试将该节点状态恢复正常。 注意事项 重启节点过程中,节点不可用。 重启后节点请在业务低谷期进行重启,避免对高峰期业务造成影响。 节点重启时,磁盘扩容、水平扩容、规格变更按钮置灰,不可操作。 节点重启是进程重启
节点重启 当CloudTable集群节点状态异常时,可通过执行重启节点操作尝试将该节点状态恢复正常。 注意事项 重启节点过程中,节点不可用。 重启后节点请在业务低谷期进行重启,避免对高峰期业务造成影响。 节点重启时,磁盘扩容、水平扩容、规格变更按钮置灰,不可操作。 节点重启是进程重启
如何调整数据均衡的灵敏度,调整后有哪些影响? Doris的数据磁盘空间如果不加以控制,会因磁盘写满而导致进程不可写。因此我们监测磁盘的使用率和剩余空间,通过设置不同的警戒水位,来控制Doris系统中的各项操作,尽量避免发生磁盘被写满的情况。 如何调整数据均衡的灵敏度? BE定期(每隔一分钟