检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Migration,以下简称CDM),可以将云上云下或第三方云上的多种数据源的数据迁移到CloudTable集群的HBase表中。支持的数据源请参见《云数据迁移产品介绍》中的支持的数据源章节。 使用CDM迁移数据到CloudTable的流程如下: 创建CloudTable集群 使用CDM迁移数据到CloudTable
Doris的Hive外表自带create catalog能力,通过连接Hive Metastore,或者兼容Hive Metastore的元数据服务自动获取Hive库表信息,并进行表数据查询,从而避免了传统外部数据目录多需要手动映射以及数据迁移的复杂工程。 背景 许多客户的Hive
max_bytes_per_broker_scanner配置限制了单个BE处理的数据量的最大值。max_broker_concurrency配置限制了一个作业的最大的导入并发数。最小处理的数据量(默认64M),最大并发数,源文件的大小和当前集群BE的个数 共同决定了本次导入的并发数。 本次导入并发数=Math.min
关于Partition和Bucket的数量和数据量的建议 一个表的Tablet总数量等于 (Partition num*Bucket num)。 一个表的Tablet数量,在不考虑扩容的情况下,推荐略多于整个集群的磁盘数量。 单个Tablet的数据量理论上没有上下界,但建议在1G-10G的范围内。如果单
Doris快速入门 Doris是一个基于MPP架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。本章节提供从零开始使用Doris操作指导:通过MySQL命令
ClickHouse为您提供方便易用、灵活稳定的云端ClickHouse托管服务。只需要几分钟,便可完成海量数据查询数据仓库的搭建,简单轻松地完成对数据的实时查询分析,提升数据价值挖掘的整体效率。云数据仓库ClickHouse是一种基于MPP(大规模并行处理)架构的数仓服务,基于ClickHouse优异的查询性能,查询效率数倍于传统数据仓库。
开发思路 功能分解 根据上述的业务场景进行功能分解,需要开发的功能点如表1所示。 表1 在HBase中开发冷热分离的功能 序号 步骤 代码实现 1 根据典型场景说明中的信息创建表。 请参见创建表。 2 写入数据。 请参见插入数据。 4 根据城市、区域、时间查询温度和湿度。 请参见使用Get读取数据。
Doris运行中,FE节点会监控元数据中各磁盘的负载情况,一旦出现数据不均衡,会立刻将高负载磁盘上的数据拷贝一份至低负载磁盘,直到各磁盘间数据均衡。 哪些场景会影响数据均衡? 频繁写入数据,导致各节点、磁盘的负载一直在变化,容易触发数据均衡。 数据均衡过程中,再次写入数据,容易打乱之前的数据均衡。 由于磁盘
设置集群的告警规则 登录表格存储服务管理控制台。 在左侧导航树,单击集群管理。 在集群管理列表中的右上角,输入要搜索的集群名称,单击。 在集群列表中,找到所需要集群,在对应的“操作”列中,单击“查看监控信息”,系统将跳转到该集群的“云服务监控”页面。 待查看监控信息的集群,其状态必须为“服务中”。
通过典型场景,我们可以快速学习和掌握HBase的开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,如表1所示,A业务操作流程如下: 创建用户信息表。 在用户信息中新增用户的学历、职称等信息。 根据用户编号查询用户姓名和地址。
登录表格存储服务管理控制台。 在左侧导航树,单击集群管理。 在集群管理列表中的右上角,输入要搜索的集群名称,单击。 在集群列表中,找到所需要集群,在对应的“操作”列中,单击“更多 > 查看监控信息”,系统将跳转到该集群的“云服务监控”页面。 待查看监控信息的集群,其状态必须为“服务中”。 图1 监控页面 单
根据典型场景说明中的业务进行功能分解,需要开发的功能点如下: 表1 冷热分离功能 步骤 代码实现 步骤1:创建自动归档冷数据策略。 请参见自动存储冷数据。 步骤2:数据表关联数据迁移策略。 请参见数据表关联策略。 步骤3:插入数据。 请参见插入数据。 步骤4:查询插入的数据。 请参见查询插入的数据。
Hot(热数据):访问、更新频率较高,未来被调用的概率较高的数据,对访问的响应时间要求很高的数据。 Cold(冷数据):不允许更新或更新频率比较低,访问频率比较低,对访问的响应时间要求不高的数据。 用户可以定义冷热管理表,将符合规则的冷数据切换至OBS上进行存储,可以按照分区自动进行冷热数据的判断和迁移。 原理介绍
单击集群管理界面右上角的“购买集群”。 进入创建集群界面,在集群购买页面选择ClickHouse数据库引擎并开启冷热分离特性,创建后的集群就开启了冷热分离特性。 创建集群可以参考创建ClickHouse集群。 如果在创建集群的时候未开启冷热分离特性,可在集群详情页面或者集群列表的操作列开启冷热分离。
使用Get读取数据 功能简介 要从表中读取一条数据,首先需要实例化该表对应的Table实例,然后创建一个Get对象。 可以为Get对象设定参数值,如列族的名称和列的名称。 查询到的行数据存储在Result对象中,Result中可以存储多个Cell。 代码样例 public void
且Connection是线程安全的,因此,多个客户端线程可以共享一个Connection。 典型的用法,一个客户端程序共享一个单独的Connection,每一个线程获取自己的Admin或Table实例,然后调用Admin对象或Table对象提供的操作接口。不建议缓存或者池化Tab
CREATE DATABASE 本章节介绍创建数据库的基本用法。 CREATE DATABASE CREATE DATABASE [IF NOT EXISTS] db_name [ON CLUSTER ClickHouse集群名]; 表1 参数说明 参数 说明 db_name 数据库
s以内,每天的SQL查询量为数万条。 统一数仓构建 :一个平台满足统一的数据仓库建设需求,简化繁琐的大数据软件栈。Doris构建的统一数仓,替换了原来由Spark、Hive、Kudu、HBase、Phoenix组成的旧架构,架构大大简化。 数据湖联邦查询:通过外表的方式联邦分析位
Doris集群管理简介 CloudTable集群模式提供了基于Doris的分布式、可伸缩、全托管的实时数据仓库,它提供了亚秒级返回海量数据查询结果的能力,可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。 Doris集群管理下,用户申请专属集群,按需使用,专属集群是完全物