检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
【强制】创建表指定分桶buckets时,每个桶的数据大小为应保持在100M-3G之间,单分区中最大分桶数据不超过5000。 【强制】表数据超过5亿条以上必须设置分区分桶策略。 【强制】分桶的列不要设置太多,一般情况下1或2个列,同时需要兼顾数据分布均匀和查询吞吐之间的均衡,考虑数据均匀是为了避免某些桶的数据存在倾斜
功能分解 根据上述的业务场景进行功能分解,需要开发的功能点如表1所示。 表1 在HBase中开发的功能 序号 步骤 代码实现 1 根据典型场景说明中的信息创建表。 请参见创建表。 2 导入用户数据。 请参见插入数据。 3 增加“教育信息”列族,在用户信息中新增用户的学历、职称等信息。
根据典型场景说明中的业务进行功能分解,需要开发的功能点如下: 表1 冷热分离功能 步骤 代码实现 步骤1:创建自动归档冷数据策略。 请参见自动存储冷数据。 步骤2:数据表关联数据迁移策略。 请参见数据表关联策略。 步骤3:插入数据。 请参见插入数据。 步骤4:查询插入的数据。 请参见查询插入的数据。
通过典型场景,我们可以快速学习和掌握HBase的开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,如表1所示,A业务操作流程如下: 创建用户信息表。 在用户信息中新增用户的学历、职称等信息。 根据用户编号查询用户姓名和地址。
典型场景说明 通过典型场景,我们可以快速学习和掌握HBase冷热分离的开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序,用于实时记录和查询城市的气象信息,记录数据如下表: 表1 原始数据 城市 区域 时间 温度 湿度 Shenzhen Longgang
功能分解 根据典型场景说明中的业务进行功能分解,需要开发的功能点如下: 表1 冷热分离功能 步骤 代码实现 步骤1:创建ClickHouse冷热分离表。 请参见创建ClickHouse冷热分离数据表。 步骤2:插入数据。 请参见插入验证数据。 步骤3:查询插入的数据。 请参见查询插入数据。
典型场景说明 通过典型场景,我们可以快速学习和掌握Doris的开发过程,并且对冷热分离的应用场景有所了解。 场景说明 假定用户开发一个网站系统,test_tbl用于实时用户访问网站的记录,记录数据如下表: 表1 原始数据 timestamp type error_code error_msg
obs.access.key与fs.obs.secret.key的获取方式请参见对象存储服务的获取访问密钥(AK/SK)章节。 fs.obs.endpoint的获取方式见请参见对象存储服务的获取终端节点章节。 查询插入的数据。 mysql> select * from test_tbl1
创建Connection 创建表 删除表 修改表 插入数据 删除数据 使用Get读取数据 使用Scan读取数据 使用过滤器Filter 父主题: 开发HBase应用
开发思路 功能分解 根据上述的业务场景进行功能分解,需要开发的功能点如表1所示。 表1 在HBase中开发冷热分离的功能 序号 步骤 代码实现 1 根据典型场景说明中的信息创建表。 请参见创建表。 2 写入数据。 请参见插入数据。 4 根据城市、区域、时间查询温度和湿度。 请参见使用Get读取数据。
创建HBase表时开启标签索引 请参见创建数据表开启标签索引 2 HBase put写入数据 请参见写入数据 3 查询数据 请参见: 普通查询 抽样查询 分页查询 统计查询 父主题: 开发标签索引应用
典型场景说明 通过典型场景,我们可以快速学习和掌握标签索引的开发过程,并且对关键的接口函数有所了解。 场景说明 某在线付费学习APP给会员打上各种属性标签,以方便后续的资源投放和精准定位营销。例如,需要ms级统计拥有学士和硕士学位的用户数量是多少?以及是哪些用户? 用户信息表字段如下:
插入数据 功能简介 HBase是一个面向列的数据库,一行数据,可能对应多个列族,而一个列族又可以对应多个列。 通常,写入数据的时候,我们需要指定要写入的列(含列族名称和列名称)。 HBase通过HTable的put方法来Put数据,可以是一行数据也可以是数据集。 代码样例 public
创建Configuration 创建Connection 创建表 删除表 修改表 插入数据 使用Get读取数据 使用Scan读取数据 父主题: 开发HBase冷热分离应用
配置参数 创建Configuration 创建数据表开启标签索引 写入数据 普通查询 抽样查询 分页查询 统计查询 父主题: 开发标签索引应用
cloudtable.com</value> </property> 其中:value中的值为ZooKeeper集群的域名。登录表格存储服务管理控制台,在左侧导航树单击集群管理,然后在集群列表中找到所需要的集群,并获取相应的“ZK链接地址(内网)”。 父主题: 样例代码说明
删除表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin的deleteTable方法来删除表。 代码样例 public void dropTable() { LOG.info("Entering dropTable."); Admin
典型场景说明 通过典型场景,我们可以快速学习和掌握ClickHouse冷热分离的开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户开发一个网站系统,test_tbl用于实时用户访问网站的记录,记录数据如下表: 表1 原始数据 timestamp type error_code
查询数据 当前系统时间为2024年6月4日22点,test_table表timestamp列超过一天的数据存储到了名为cold_disk的OBS下。 父主题: 开发ClickHouse冷热分离应用
lipse的JAVA工程。如图1所示。 图1 样例代码工程目录结构 Maven配置 样例工程中已经包含了hbase的客户端jar包,也可以替换成开源的HBase jar包访问表格存储服务,支持1.X.X版本以上的开源HBase API。如果需要在应用中引入表格存储服务的HBase