检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
典型场景说明 通过典型场景,我们可以快速学习和掌握HBase冷热分离的开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序,用于实时记录和查询城市的气象信息,记录数据如下表: 表1 原始数据 城市 区域 时间 温度 湿度 Shenzhen Longgang
开发环境简介 在进行二次开发时,要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,推荐Windows 7及以上版本。 安装JDK 开发环境的基本配置。版本要求:1.7或者1.8。考虑到后续版本的兼容性,强烈推荐使用1.8。 说明: 基于安全
Stream Load Stream load是一个同步的导入方式,用户通过发送HTTP协议发送请求将本地文件或数据流导入到Doris中。Stream load同步执行导入并返回导入结果。用户可直接通过请求的返回体判断本次导入是否成功。 Stream load主要适用于导入本地文件,或通过程序导入数据流中的数据。
使用客户端访问集群 用户在弹性云服务器里可以通过手动安装客户端的方法,使用SQL访问集群。 创建集群的虚拟私有云、安全组需要和公网ECS保持一致,否则客户端无法访问集群。 ClickHouse手动安装客户端 准备Linux弹性云服务器,具体操作请见准备弹性云服务章节。 下载客户端
全局二级索引限制与约束 使用场景限制 GSI不支持与HIndex(LSI)同时使用,即不支持在同一个数据表上同时创建本地索引与全局索引。 索引表不支持容灾。 不支持直接对索引表执行DISABLE、DROP、MODIFY和TRUNCATE操作。 索引DDL操作支持修改索引状态、删除
使用Thrift Server 通过CloudTable管理页面开启关闭Thrift Server服务。 开启Thrift Server步骤 登录表格存储服务管理控制台。 控制台左上角,选择区域。 单击左侧“集群管理”,进入集群管理界面。 单击集群管理界面右上角的“购买集群”,
为什么连接HBase报错:Will not attempt to authenticate using SASL (unknown error)? 问题现象 访问CloudTable的HBase连接不上,出现如下所示的错误信息: Opening socket connection
删除数据 功能简介 HBase通过Table实例的delete方法来Delete数据,可以是一行数据也可以是数据集。 具体删除方法根据用户使用场景选取。 代码样例 public void testDelete() { LOG.info("Entering testDelete
Hive 创建hive catalog 通过连接Hive Metastore,或者兼容Hive Metastore的元数据服务,Doris可以自动获取Hive的库表信息,并进行数据查询。 除了Hive外,很多其他系统也会使用Hive Metastore存储元数据。所以通过Hive
典型场景说明 通过典型场景,我们可以快速学习和掌握ClickHouse冷热分离的开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户开发一个网站系统,test_tbl用于实时用户访问网站的记录,记录数据如下表: 表1 原始数据 timestamp type error_code
样例代码 此章节主要介绍CloudTable ClickHouse冷热分离的使用命令,以及冷数据如何自动存储到obs桶中。 样例代码 创建ClickHouse冷热分离表test_table。 CREATE TABLE IF NOT EXISTS test_table ( `timestamp`
冷热分离概述 海量大数据场景下,随着业务和数据量的不断增长,数据存储与消耗的资源也日益增长。根据业务系统中用户对不同时期数据的不同使用需求,对膨胀的数据本身进行“冷热”分级管理,不仅可以提高数据分析性能还能降低业务成本。 背景 在数据分析的实际场景中,冷热数据面临着不同的查询频次
节点重启 当CloudTable集群节点状态异常时,可通过执行重启节点操作尝试将该节点状态恢复正常。 注意事项 重启节点过程中,节点不可用。 重启后节点请在业务低谷期进行重启,避免对高峰期业务造成影响。 节点重启时,磁盘扩容、节点扩容、规格变更按钮置灰,不可操作。 节点重启是进程重启,不是整个节点重启。
节点重启 当CloudTable集群节点状态异常时,可通过执行重启节点操作尝试将该节点状态恢复正常。 注意事项 重启节点过程中,节点不可用。 重启后节点请在业务低谷期进行重启,避免对高峰期业务造成影响。 节点重启时,磁盘扩容、节点扩容、规格变更按钮置灰,不可操作。 节点重启是进程重启,不是整个节点重启。
ClickHouse集群节点管理 节点重启 父主题: 集群管理
使用MySQL客户端访问集群 用户在弹性云服务器里可以通过手动安装客户端的方法,使用MySQL访问集群。 手动安装客户端 准备Linux弹性云服务器,具体操作请见准备弹性云服务章节。 安装客户端,连接集群。 使用SSH登录工具,通过弹性IP远程登录到Linux弹性云服务器。 具体
HBase集群节点扩容 为了提升系统的计算能力、存储能力,用户可以通过节点扩容来扩容集群。节点扩容将会产生相应的费用。用户可根据实际需要或业务情况,动态的增加节点的个数,集群将自适应的实现负载均衡,保证业务不中断,平滑扩容。 注意事项 扩容过程中,不会自动重启集群,保证业务不中断,平滑扩容。
查询数据 功能介绍 查询语句1:querySql1查询创建表创建的tableName表中任意10条数据; 查询语句2:querySql2通过内置函数对创建表创建的tableName表中的日期字段取年月后进行聚合。 样例代码 private void queryData(String
Broker Load Broker Load是一个异步的导入方式,支持的数据源取决于Broker进程支持的数据源。本文为您介绍Broker Load导入的基本原理、基本操作、系统配置以及最佳实践。 适用场景 源数据在Broker可以访问的存储系统中,如HDFS、OBS。 数据量在几十到百GB级别。
配置参数 执行样例代码前,必须在hbase-site.xml配置文件中,配置正确的ZooKeeper集群的地址。 配置项如下: <property> <name>hbase.zookeeper.quorum</name> <value>xxx-zk1.cloudtable.com