检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink作业实时同步MRS Kafka数据至CloudTable HBase集群 此章节为您介绍数据实时同步的最佳实践,通过数据湖探索服务DLI Flink作业将MRS kafka数据实时同步给HBase,实现Kafka实时入库到HBase的过程。 了解DLI请参见数据湖探索产品介绍。 了解Kafka请参见MRS产品介绍。
t error: [E-235], host: 10.x.x.x, host: 10.x.x.x 分析原因 用户导入数据速度过快,频繁小批量数据导入会产生过多数据版本,超过max_tablet_version_num设置的值,则报错E-235。 处理办法 通过报错信息查看报错表。例如:tablet
样例代码说明 配置参数 创建Configuration 创建Connection 创建表 删除表 修改表 插入数据 使用Get读取数据 使用Scan读取数据 父主题: 开发HBase冷热分离应用
engine_name() 表引擎类型。 双副本版集群建表时,需要使用MergeTree系列引擎中支持数据复制的Replicated*引擎,否则副本之间不进行数据复制,导致数据查询结果不一致。使用该引擎建表时,参数填写方式如下。 ReplicatedMergeTree('/cli
使用过滤器Filter 功能简介 HBase Filter主要在Scan和Get过程中进行数据过滤,通过设置一些过滤条件来实现,如设置RowKey、列名或者列值的过滤条件。 具体过滤条件根据用户使用场景选取。 代码样例 public void testSingleColumnValueFilter()
建表 Doris数据表和数据模型 数据分区和分桶 数据分布 父主题: Doris应用开发指导
HBase集群写入数据大小不能超过多少? 问题现象 HBase集群大规模并行写入数据时,写入数据到一半卡住,无法写入数据。 原因分析 数据迁移单个请求写入数据太大,导致报错。 处理方法 建议单次写入不超过2M,单条不超过200k。 父主题: 数据读写类
垃圾文件。 数据文件合并完成后,并没有物理删除旧的数据,产生垃圾文件。 垃圾文件影响 过多垃圾文件,会占用磁盘,影响可用磁盘大小,可能造成有效数据丢失。 垃圾文件本身有防误删的功能,Doris可从垃圾文件中恢复数据,过少垃圾文件会影响防误删功能。 如何查看回收站数据 登录CloudTable控制台。
样例代码说明 设置属性 建立连接 创建库 创建表 插入数据 查询数据 删除表 父主题: 开发程序
ClickHouse应用开发指导 ClickHouse组件使用规范 ClickHouse表引擎概述 SQL语法参考 数据迁移同步 开发程序 调测程序 开发ClickHouse冷热分离应用
进入集群客户端。 查看数据库。 show databases; 使用数据库。 use databases; 查看数据表。 show tables; 查看同步数据。 select * from order limit 10; 图2 查看同步数据 父主题: 数据导入
样例代码说明 配置参数 创建Configuration 创建数据表开启标签索引 写入数据 普通查询 抽样查询 分页查询 统计查询 父主题: 开发标签索引应用
Doris应用开发指导 Doris组件使用规范 建表 数据导入 数据湖分析 通过JDBC方式连接Doris 开发Doris冷热分离应用
n建表方式): 快速建表,即创建表后整张表只有一个Region,随着数据量的增加会自动分裂成多个Region。 预分Region建表,即创建表时预先分配多个Region,此种方法建表可以提高写入大量数据初期的数据写入速度。 表名以及列族名不能包含特殊字符,可以由字母、数字以及下划线组成。
获取ClickHouse开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 操作场景 ClickHouse针对多个场景提供样例工程,帮助客户快速学习ClickHouse工程。 操作步骤 在应用开发环境中,导入代码样例工程到IntelliJ IDEA开发环境。 在IDEA
求场景: 数据存储周期长:面对历史数据的不断增加,存储成本也随之增加。 冷热数据访问频率及性能要求不同:热数据访问频率高且需要快速响应,而冷数据访问频率低且响应速度要求不高。 原理介绍 创建表:CloudTable Doris通过文件系统在本地数据目录创建目录。 写数据:调用文件
指定的源表数据插入到物化视图中。不指定POPULATE关键字时,物化视图只会包含在物化视图创建后新写入源表的数据。 说明: 一般不推荐使用POPULATE关键字,因为在物化视图创建期间写入源表的数据将不会写入物化视图中。 SELECT ... SELECT子句。当数据写入物化视图
开发环境简介 在进行二次开发时,要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,推荐Windows 7及以上版本。 安装JDK 开发环境的基本配置。版本要求:1.7或者1.8。考虑到后续版本的兼容性,强烈推荐使用1.8。 说明: 基于安全
统。本章节提供从零开始使用HBase的操作指导:通过HBase Shell命令实现创建表,往表中插入数据,修改表,读取表数据,删除表中数据以及删除表的功能。 背景信息 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,使用HBase客户端实现A业务操作流程如下: 创建用户信息表user_info。
表格存储服务(CloudTable)是基于HBase、Doris、ClickHouse、StarRocks提供的全托管数据存储和分析服务。CloudTable提供GB~PB级数据存储和分析能力,用于在线查询、数据仓库、数据集市、实时分析等场景。可被广泛应用于互联网、物联网、车联网、金融、政府、物流、制造、零售等行业。