检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户信息表字段如下: 表1 用户信息 字段名称 字段描述 是否需要标签索引 name 用户名 否 education 用户学历 是 otherInfo 用户其他信息 否 父主题: 开发标签索引应用
数据导入 总览 批量数据导入 父主题: Doris应用开发指导
doris_fe_edit_log_read 元数据日志读取次数的计数 通过斜率观察元数据读取频率是否正常。 ≥0 60s SYS.CloudTable doris_fe_edit_log_write 元数据日志写入次数的计数 通过斜率观察元数据读取频率是否正常。 ≥0 60s SYS.CloudTable
抽样查询 功能介绍 在普通查询的基础上设置setSampling(),查询时从索引表中随机选择一个分片执行查询任务。 样例代码 public void testSamplingQuery() { LOG.info("Entering testSamplingQuery.");
数据表 在Doris中,数据以表的形式进行逻辑上的描述。表是具有相同模式的同质数据的集合。 一张表包括行(Row)和列(Column)。Row即用户的一行数据。Column用于描述一行数据中不同的字段,可以根据实际情况采用不同的数据类型(如整型、字符串、布尔型等)。 从OLAP场
支持数据复制(带Replicated前缀的表引擎)。 支持数据抽样。 在写入数据时,该系列引擎表会按照分区键将数据分成不同的文件夹,文件夹内每列数据为不同的独立文件,以及创建数据的序列化索引排序记录文件。该结构使得数据读取时能够减少数据检索时的数据量,极大的提高查询效率。 RelacingMergeTree
那些场景会影响数据均衡? Doris运行中,FE节点会监控元数据中各磁盘的负载情况,一旦出现数据不均衡,会立刻将高负载磁盘上的数据拷贝一份至低负载磁盘,直到各磁盘间数据均衡。 那些场景会影响数据均衡? 频繁写入数据,导致各节点、磁盘的负载一直在变化,容易触发数据均衡。 数据均衡过程中
删除数据 功能简介 HBase通过Table实例的delete方法来Delete数据,可以是一行数据也可以是数据集。 代码样例 public void testDelete() { LOG.info("Entering testDelete."); byte[] rowKey
垃圾文件。 数据文件合并完成后,并没有物理删除旧的数据,产生垃圾文件。 垃圾文件影响 过多垃圾文件,会占用磁盘,影响可用磁盘大小,可能造成有效数据丢失。 垃圾文件本身有防误删的功能,Doris可从垃圾文件中恢复数据,过少垃圾文件会影响防误删功能。 如何查看回收站数据 登录CloudTable控制台。
创建Configuration 功能介绍 HBase通过加载配置文件来获取配置项。 加载配置文件是一个比较耗时的操作,如非必要,请尽量使用同一个Configuration对象。 样例代码未考虑多线程同步的问题,如有需要,请自行增加。其它样例代码也一样,不再一一进行说明。 代码样例
Doris数据表和数据模型 数据表 数据模型 最佳实践 父主题: 建表
数据读写类 CloudTable HBase存储的是原始数据吗? 为什么HBase无法写入数据? HBase集群写入数据大小不能超过多少? HBase表格存储的每日新增数据使用量怎么查看? 怎么查看catalog指定数据库下的列表? 访问CloudTable HBase集群报错,hmaster域名不识别?
批量数据导入 Broker Load Stream Load 父主题: 数据导入
为分片之间的关系。 数据迁移过程中原表默认为只读状态。 数据迁移的时候数据首先会保存在临时表中,执行的时候用迁移的数据表替换原表,该过程中可能读取到错误的数据,切换时间为秒级。 数据迁移过程中可能由于集群问题导致此过程暂停,根据报错集群修复继续执行任务。 数据迁移的时候,源节点和
针对开启冷热分离特性的列族,可以从冷热存储中查询数据,也可以只从热存储中查询数据。 代码样例 不指定HOT_ONLY参数来查询数据。在这种情况下,将会查询冷存储中的数据。 public void testGet() { LOG.info("Entering testGet."); // Specify the
数据导入导出 本章节主要介绍使用ClickHouse客户端导入导出文件数据的基本语法和使用说明。 CSV格式数据导入导出 CSV格式数据导入。 非安全集群 cat csv_ssl | ./clickhouse client --host 192.168.x.x --port port
使用Scan读取数据 功能简介 要从表中读取数据,首先需要实例化该表对应的Table实例,然后创建一个Scan对象,并针对查询条件设置Scan对象的参数值,为了提高查询效率,最好指定StartRow和StopRow。查询结果的多行数据保存在ResultScanner对象中,每行数据以Res
使用Get读取数据 功能简介 要从表中读取一条数据,首先需要实例化该表对应的Table实例,然后创建一个Get对象。也可以为Get对象设定参数值,如列族的名称和列的名称。查询到的行数据存储在Result对象中,Result中可以存储多个Cell。 代码样例 public void
配置参数 执行样例代码前,必须在hbase-site.xml配置文件中,配置正确的ZooKeeper集群的地址。 配置项如下: <property> <name>hbase.zookeeper.quorum</name> <value>xxx-zk1.cloudtable.com
使用Scan读取数据 功能介绍 要从表中读取数据,首先需要实例化该表对应的Table实例,然后创建一个Scan对象,并针对查询条件设置Scan对象的参数值,为了提高查询效率,最好指定StartRow和StopRow。查询结果的多行数据保存在ResultScanner对象中,每行数据以Res