检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
概述 多源数据目录(Multi-Catalog)是Doris 1.2.0版本中推出的功能,旨在能够更方便对接外部数据目录,以增强Doris的数据湖分析和联邦数据查询能力。 在之前的Doris版本中,用户数据只有两个层级:Database和Table。
最佳实践 因为数据模型在建表时就已经确定,且无法修改。所以,选择一个合适的数据模型非常重要。 数据模型选择 Doris数据模型上目前分为三类:AGGREGATE KEY,UNIQUE KEY,DUPLICATE KEY。三种模型中数据都是按KEY进行排序。
数据导入 【建议】在Flink实时写入数据到Doris的场景下,CheckPoint设置的时间需要考虑每批次数据量,如果每批次数据太小会造成大量小文件,推荐值为60s。
删除数据 功能简介 HBase通过Table实例的delete方法来Delete数据,可以是一行数据也可以是数据集。 具体删除方法根据用户使用场景选取。
数据迁移同步 数据导入导出 ClickHouse访问RDS MySQL服务 父主题: ClickHouse应用开发指导
数据读写类 CloudTable HBase存储的是原始数据吗? 为什么HBase无法写入数据? HBase集群写入数据大小不能超过多少? HBase表格存储的每日新增数据使用量怎么查看? 怎么查看catalog指定数据库下的列表?
HBase表格存储的每日新增数据使用量怎么查看? HBase集群无法查看单个表的增量值,需要通过后台帮您查询,或者可以通过控制台查看每日新增数据,查看详情页已经使用的存储容量,通过记录存储容量值计算增量。 父主题: 数据读写类
数据类型 此章节描述ClickHouse的数据类型。 ClickHouse不支持JSON以及Object('json')数据类型。
分析原因 删除数据后,导致索引表和数据表不对应,导致异常。 处理方法 短期:通过离线流进行批处理,在第二天补数据。 长期。 lemon特性暂不支持数据删除操作,删除后会出现表数据不对应查询异常,去掉数据表TTL老化。 针对CBC数据老化场景看是否可以去掉TTL增强索引。
batchNum 10 写入数据的总批次。
ClickHouse集群管理 ClickHouse集群管理简介 集群管理 使用Clickhouse ClickHouse数据迁移 ClickHouse用户管理 ClickHouse角色管理 ClickHouse慢查询管理 ClickHouse安全通道加密 ClickHouse冷热分离应用
ClickHouse集群创建表格后提示另外一个节点不存在此数据库? 问题现象 创建表格时提示另外一个节点不存在此数据库。 图1 结果示意图 原因分析 在创建集群的时候,只在一节点上创建了数据库在其他的节点上未创建数据库。 处理方法 在其他的节点上创建数据库。
ClickHouse数据迁移 本章节为您介绍数据迁移能力。 使用场景 ClickHouse集群节点扩容后,需要使用数据迁移对数据进行迁移。 注意事项 每个数据表只能绑定一个任务。一个集群仅支持一个执行中的任务。
使用Get读取数据 功能简介 要从表中读取一条数据,首先需要实例化该表对应的Table实例,然后创建一个Get对象。 可以为Get对象设定参数值,如列族的名称和列的名称。 查询到的行数据存储在Result对象中,Result中可以存储多个Cell。
查询结果的多行数据保存在ResultScanner对象中,每行数据以Result对象形式存储,Result中存储了多个Cell。
针对开启冷热分离特性的列族,可以从冷热存储中查询数据,也可以只从热存储中查询数据。 代码样例 不指定HOT_ONLY参数来查询数据。在这种情况下,将会查询冷存储中的数据。
数据湖分析 多源数据目录 父主题: Doris应用开发指导
HBase数据批量导入 使用CDM迁移数据到CloudTable HBase集群 使用Import工具导入数据 使用CopyTable工具导入数据 数据表复制样例代码 父主题: HBase用户指南
基于索引查询数据 基于索引查询 在具有索引的用户表中,可以使用SingleColumnValueFilter来查询数据。当查询条件可以命中索引时,查询速度远快于原表查询。 索引的命中规则如下: 多个AND条件查询。 当用于查询的列至少包含索引第一个列时,使用索引会提高查询性能。
查询结果的多行数据保存在ResultScanner对象中,每行数据以Result对象形式存储,Result中存储了多个Cell。 代码样例 不指定HOT_ONLY参数来查询数据。在这种情况下,将会查询冷存储中的数据。