检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
样例代码 此章节主要介绍CloudTable Doris冷热分离的使用命令,以及冷数据如何自动存储到obs桶中。 样例代码 自动存储冷数据。 创建冷数据自动归档到冷存储的数据迁移策略testPolicy。 CREATE STORAGE POLICY testPolicy PROPERTIES(
HBase集群磁盘扩容 磁盘扩容,即纵向扩容,是一种扩容节点内磁盘容量的操作。一般来说,具体的数据存储在计算节点,当计算节点磁盘容量不足时,业务数据将无法存储,因此需要对节点进行纵向扩容。 使用限制 当所有的Core节点磁盘占用90%时,集群异常且读写不可用。 当集群状态处于“服
Clickhouse命令简介 本章节主要介绍常用的ClickHouse组件命令。安装ClickHouse客户端后,加载环境变量,可使用以下命令。 连接ClickHouse集群。 非安全集群连接命令 ./clickhouse client --host 集群内网地址 --port
分页查询 功能介绍 先执行query接口返回简要数据信息,而后调用listRows接口翻页。 可以参考以下样例代码。 样例代码 public void testPagingQuery() { LOG.info("Entering testPagingQuery."); try
创建表 功能介绍 HBase通过org.apache.hadoop.hbase.client.Admin对象的createTable方法来创建表,并指定表名、列族名、冷热时间线。 创建表有两种方式(强烈建议采用预分Region建表方式): 快速建表,即创建表后整张表只有一个Reg
修改表 功能介绍 HBase通过org.apache.hadoop.hbase.client.Admin的modifyTable方法修改表信息。 代码样例 取消冷热时间线。 public void testModifyTable() { LOG.info("Entering testModifyTable
查看ClickHouse集群的基本信息 集群创建完成后,可对集群进行监控和管理。在CloudTable管理控制台单击集群管理,在集群列表中找到所要查看的集群并单击集群名称,进入集群基本信息页面,用户可查看集群信息和集群的网络配置。 表1 集群信息 参数 说明 集群名称 集群的名称,创建集群时设置。
最佳实践 因为数据模型在建表时就已经确定,且无法修改。所以,选择一个合适的数据模型非常重要。 数据模型选择 Doris数据模型上目前分为三类:AGGREGATE KEY,UNIQUE KEY,DUPLICATE KEY。三种模型中数据都是按KEY进行排序。 Aggregate模型。
ClickHouse冷热分离命令简介 此章节主要介绍CloudTable ClickHouse冷热分离命令的使用,ClickHouse集群基本命令使用请参见Clickhouse命令简介。 创建冷热分离数据表。 CREATE TABLE hot_cold_table ( `f1` String
配置参数 执行样例代码前,必须在hbase-site.xml配置文件中,配置正确的ZooKeeper集群的地址。 配置项如下: <property> <name>hbase.zookeeper.quorum</name> <value>xxx-zk1.cloudtable.com
Broker Load Broker Load是一个异步的导入方式,支持的数据源取决于Broker进程支持的数据源。本文为您介绍Broker Load导入的基本原理、基本操作、系统配置以及最佳实践。 适用场景 源数据在Broker可以访问的存储系统中,如HDFS、OBS。 数据量在几十到百GB级别。
建立连接 功能介绍 创建连接时使用ClickHouseDataSource配置连接使用的url和属性。 然后使用clickhouse-example.properties配置的user和password作为认证凭据,ClickHouse会带着用户名和密码在服务端进行安全认证。 样例代码
创建库 功能介绍 如下示例中通过on cluster语句在集群的所有Server节点创建数据库。 其中数据库名定义在clickhouse-example.properties文件的databaseName字段。 样例代码 private void createDatabase(String
创建表 功能介绍 如下示例中通过on cluster语句在集群的所有Server节点创建分布式表和本地表。 createSql为本地表,createDisSql为基于本地表的分布式表。 样例代码 private void createTable(String databaseName
查询数据 功能介绍 查询语句1:querySql1查询创建表创建的tableName表中任意10条数据; 查询语句2:querySql2通过内置函数对创建表创建的tableName表中的日期字段取年月后进行聚合。 样例代码 private void queryData(String
概述 多源数据目录(Multi-Catalog)是Doris 1.2.0版本中推出的功能,旨在能够更方便对接外部数据目录,以增强Doris的数据湖分析和联邦数据查询能力。 在之前的Doris版本中,用户数据只有两个层级:Database和Table。当我们需要连接一个外部数据目录
冷热分离概述 海量大数据场景下,随着业务和数据量的不断增长,数据存储与消耗的资源也日益增长。根据业务系统中用户对不同时期数据的不同使用需求,对膨胀的数据本身进行“冷热”分级管理,不仅可以提高数据分析性能还能降低业务成本。 背景 在数据分析的实际场景中,冷热数据面临着不同的查询频次
SHOW显示数据库和表信息 此章节主要介绍ClickHouse显示数据库和表信息的SQL基本语法和使用说明。 基本语法 show databases; show tables; 示例: 查询数据库。 show databases; 查询表信息。 show tables; 父主题:
HBase表格存储的每日新增数据使用量怎么查看? HBase集群无法查看单个表的增量值,需要通过后台帮您查询,或者可以通过控制台查看每日新增数据,查看详情页已经使用的存储容量,通过记录存储容量值计算增量。 父主题: 数据读写类
数据模型 Doris的数据模型主要分为3类: Aggregate模型。 Unique模型。 Duplicate。 Aggregate模型 以实际的例子来说明什么是聚合模型,以及如何正确的使用聚合模型。 示例1:导入数据聚合 假设业务有以下模式: 表1 参数说明 ColumnName