检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Doris集群目前不支持计算节点CPU、内存规格升、降配,因此需要对Doris集群增加纵向扩容功能。 规格变更只支持从小规格变更为大规格,如果要大规格更改为小规格,建议新建小规格集群,采用数据迁移进行切换。 一次只支持变更一种类型的节点规格(BE、FE),且变更完成后只生效所选类型的节点规格。 规格变
Doris支持冷热数据分离特性。通过该特性,您可以将冷热数据分别存储在不同类型的存储介质中,以降低存储成本。主要适用以下场景: 数据存储周期长:面对历史数据的不断增加,存储成本也随之增加。 冷热数据访问频率及性能要求不同:热数据访问频率高且需要快速响应,而冷数据访问频率低且响应速度要求不高。
类型。 数据写入 【规则】外部模块保证数据导入的幂等性。 ClickHouse不支持数据写入的事务保证。通过外部导入数据模块控制数据的幂等性,比如某个批次的数据导入异常,则drop对应分区数据或清理掉导入的数据后,重新导入该分区或批次数据。 【规则】大批量少频次的写入数据。 Cl
【强制】创建表指定分桶buckets时,每个桶的数据大小为应保持在100M-3G之间,单分区中最大分桶数据不超过5000。 【强制】表数据超过5亿条以上必须设置分区分桶策略。 【强制】分桶的列不要设置太多,一般情况下1或2个列,同时需要兼顾数据分布均匀和查询吞吐之间的均衡,考虑数据均匀是为了避免某些桶的数据存在倾斜影
样例代码 此章节主要介绍CloudTable Doris冷热分离的使用命令,以及冷数据如何自动存储到obs桶中。 样例代码 自动存储冷数据。 创建冷数据自动归档到冷存储的数据迁移策略testPolicy。 CREATE STORAGE POLICY testPolicy PROPERTIES(
审计服务。 如果您已开通过云审计服务了,开通时系统已为您自动创建了一个管理事件追踪器,管理事件追踪器只能有一个且不可删除。您也可以自行创建数据事件追踪器,详细内容请参见《云审计服务用户指南》中的创建追踪器。 关闭审计日志 如果用户想关闭审计日志,需要在云审计服务中停用追踪器。 在
分区(Partition) 分区用于将数据划分成不同区间,逻辑上可以理解为将原始表划分成了多个子表。可以方便的按分区对数据进行管理。 Partition列可以指定一列或多列,分区列必须为KEY列。多列分区的使用方式在后面多列分区小结介绍。 不论分区列是什么类型,在写分区值时,都需要加双引号。
Resource Not Found 998756 2024-03-20 20:35:00 数据规划 当天整点写入数据,同时一天前数据查询频率较低,节省存储空间设置冷热分离,将一天前数据自动归档到冷存储。 父主题: 开发Doris冷热分离应用
Resource Not Found 998756 2024-03-25 12:08:00 数据规划 当天整点写入数据,同时一天前数据查询频率较低,节省存储空间设置冷热分离,将一天前数据自动归档到冷存储。 父主题: 开发ClickHouse冷热分离应用
假定用户需要开发一个应用程序,用于存储或根据一定条件查询人员的姓名、年龄和入职日期。主要操作步骤: 建立数据库的连接。 建立一张人员信息表。 插入数据(样例代码中数据为随机生成)。 根据条件查询数据。 父主题: 开发程序
DATABASE 本章节介绍创建数据库的基本用法。 CREATE DATABASE CREATE DATABASE [IF NOT EXISTS] db_name [ON CLUSTER ClickHouse集群名]; 表1 参数说明 参数 说明 db_name 数据库 IF NOT EXISTS
key和order by)。 支持数据复制(带Replicated前缀的表引擎)。 支持数据抽样。 在写入数据时,该系列引擎表会按照分区键将数据分成不同的文件夹,文件夹内每列数据为不同的独立文件,以及创建数据的序列化索引排序记录文件。该结构使得数据读取时能够减少数据检索时的数据量,极大的提高查询效率。
在运行程序机器的host文件中,配置CloudTable HBase的内网域名和ip映射。修改步骤请参见准备弹性云服务器章节。 父主题: 数据读写类
都创建一个本地表。 处理方法 删除其他节点上的表格以及存放的数据,可解决此问题。 创建数据库。 create database demo ON CLUSTER default_cluster; 使用数据库,在新建的数据库中创建表。 use demo; 创建表test。 CREATE
常使用。 对系统的影响 重启期间集群将无法提供服务。因此,在重启前,请确定集群中没有正在运行的任务,并且所有数据都已经保存。 如果集群正在处理业务数据,如导入数据、查询数据,一旦重启集群,有可能会导致文件损坏或重启失败。因此,建议停止所有集群任务后,再重启集群。 如果重启失败,将
常使用。 对系统的影响 重启期间集群将无法提供服务。因此,在重启前,请确定集群中没有正在运行的任务,并且所有数据都已经保存。 如果集群正在处理业务数据,如导入数据、查询数据,一旦重启集群,有可能会导致文件损坏或重启失败。因此,建议停止所有集群任务后,再重启集群。 如果重启失败,将
创建库 功能介绍 如下示例中通过on cluster语句在集群的所有Server节点创建数据库。 其中数据库名定义在clickhouse-example.properties文件的databaseName字段。 样例代码 private void createDatabase(String
num*replication num)秒。如果创建较多的数据分片,并且其中有分片创建失败,则可能导致等待较长超时后,才会返回错误。 正常情况下,建表语句会在几秒或十几秒内返回。如果超过一分钟,建议直接取消掉这个操作,前往FE或BE的日志查看相关错误。 父主题: 数据分区和分桶
如何查看HBase shell的TTL属性? 如果插入数据时,设置了CELL的TTL,TTL属性不支持查看,但是可以通过验证设置的TTL是否生效来确认。 如果插入数据时未设置CELL的TTL,此时系统会自动插入当前时间为时间戳。 父主题: 通用类
HBase集群管理简介 CloudTable集群模式提供了基于Apache HBase的分布式、可伸缩、全托管的NoSQL数据存储系统,它提供了毫秒级的随机读写能力,适用于海量结构化数据、半结构化数据存储和查询应用。 HBase集群管理下,用户申请专属集群,按需使用,专属集群是完全物理隔离且不受其他业