检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备开发和运行环境 准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK
HBase应用开发指导 开发流程 准备开发环境 开发HBase应用 开发HBase冷热分离应用 访问HBase ThriftServer样例程序 开发标签索引应用 调测程序 对外接口
抽样查询 功能介绍 在普通查询的基础上设置setSampling(),查询时从索引表中随机选择一个分片执行查询任务。 可以参考以下样例代码。 样例代码 public void testSamplingQuery() { LOG.info("Entering testSamplingQuery
开发Doris冷热分离应用 应用背景 典型场景说明 开发思路 样例代码 父主题: Doris应用开发指导
典型场景说明 通过典型场景,我们可以快速学习和掌握HBase冷热分离的开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序,用于实时记录和查询城市的气象信息,记录数据如下表: 表1 原始数据 城市 区域 时间 温度 湿度 Shenzhen Longgang
Doris应用开发指导 Doris组件使用规范 建表 数据导入 数据湖分析 通过JDBC方式连接Doris 开发Doris冷热分离应用
创建Configuration 功能介绍 HBase通过加载配置文件来获取配置项。 加载配置文件是一个比较耗时的操作,如非必要,请尽量使用同一个Configuration对象。 样例代码未考虑多线程同步的问题,如有需要,请自行增加。其它样例代码也一样,不再一一进行说明。 代码样例
使用Get读取数据 功能简介 要从表中读取一条数据,首先需要实例化该表对应的Table实例,然后创建一个Get对象。 可以为Get对象设定参数值,如列族的名称和列的名称。 查询到的行数据存储在Result对象中,Result中可以存储多个Cell。 代码样例 public void
ClickHouse应用开发指导 ClickHouse组件使用规范 ClickHouse表引擎概述 SQL语法参考 数据迁移同步 开发程序 调测程序 开发ClickHouse冷热分离应用
开发ClickHouse冷热分离应用 应用背景 典型场景说明 开发思路 样例代码 父主题: ClickHouse应用开发指导
BeginTxnTimeMs 向Fe请求开始一个事务所花费的时间,单位毫秒。 StreamLoadPutTimeMs 向Fe请求获取导入数据执行计划所花费的时间,单位毫秒。 ReadDataTimeMs 读取数据所花费的时间,单位毫秒。 WriteDataTimeMs 执行写入数据操作所花费的时间,单位毫秒。
插入数据 功能介绍 HBase是一个面向列的数据库,一行数据,可能对应多个列族,而一个列族又可以对应多个列。通常,写入数据的时候,我们需要指定要写入的列(含列族名称和列名称)。HBase通过HTable的put方法来Put数据,可以是一行数据也可以是数据集。 开启冷热分离特性表的写入逻辑和正常表写入逻辑一致。
error("Close table failed " ,e); } } } LOG.info("Exiting testScanData."); } 注意事项 建议Scan时指定StartRow和StopRow,一个有确切范围的Scan,性能会更好些。
Admin对象的createTable方法来创建表,并指定表名、列族名、冷热时间线。 创建表有两种方式(强烈建议采用预分Region建表方式): 快速建表,即创建表后整张表只有一个Region,随着数据量的增加会自动分裂成多个Region。 预分Region建表,即创建表时预先分配多个Region,此种方法建表可以提高写入大量数据初期的数据写入速度。
Admin对象的createTable方法来创建表,并指定表名、列族名。创建表有两种方式(强烈建议采用预分Region建表方式): 快速建表,即创建表后整张表只有一个Region,随着数据量的增加会自动分裂成多个Region。 预分Region建表,即创建表时预先分配多个Region,此种方法建表可以提高写入大量数据初期的数据写入速度。
使用Get读取数据 功能介绍 要从表中读取一条数据,首先需要实例化该表对应的Table实例,然后创建一个Get对象。也可以为Get对象设定参数值,如列族的名称和列的名称。查询到的行数据存储在Result对象中,Result中可以存储多个Cell。 针对开启冷热分离特性的列族,可以
exists"); } } catch (IOException e) { LOG.error("Create table failed.", e); } finally { if (admin != null) { try {
创建Configuration 功能介绍 HBase通过加载配置文件来获取配置项。 加载配置文件是一个比较耗时的操作,如非必要,请尽量使用同一个Configuration对象。 样例代码未考虑多线程同步的问题,如有需要,请自行增加。其它样例代码也一样,不再进行说明。 代码样例 下面代码片段在com
Doris表按两层结构进行数据划分,分别是分区和分桶。 每个分桶文件就是一个数据分片(Tablet),Tablet是数据划分的最小逻辑单元。每个Tablet包含若干数据行。各个Tablet之间的数据没有交集,并且在物理上是独立存储的。 一个Tablet只属于一个Partition,相应的多个Tablet在逻
创建Configuration 功能介绍 HBase通过加载配置文件来获取配置项。 加载配置文件是一个比较耗时的操作,如非必要,请尽量使用同一个Configuration对象。 样例代码未考虑多线程同步的问题,如有需要,请自行增加。其它样例代码也一样,不再一一进行说明。 代码样例