检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
冷热分离概述 海量大数据场景下，随着业务和数据量的不断增长，数据存储与消耗的资源也日益增长。根据业务系统中用户对不同时期数据的不同使用需求，对膨胀的数据本身进行“冷热”分级管理，不仅可以提高数据分析性能还能降低业务成本。 背景 在数据分析的实际场景中，冷热数据面临着不同的查询频次
而新的Multi-Catalog功能在原有的元数据层级上，新增一层Catalog，构成Catalog->Database->Table的三层元数据层级。其中，Catalog可以直接对应到外部数据目录。目前支持的外部数据目录包括： Hive JDBC: 对接数据库访问的标准接口（JDBC）来访问各式数据库的数据。 该功
对于列类型转换来说，如果strict mode为true，则错误的数据将被filter。这里的错误数据是指：原始数据并不为空值，在参与列类型转换后结果为空值的这一类数据。对于导入的某列由函数变换生成时，strict mode对其不产生影响。对于导入的某列类型包含范围限制的，如果原始数据能正常通过类型转换，但无法通过范围限制的，strict
Broker Load是一个异步的导入方式，支持的数据源取决于Broker进程支持的数据源。本文为您介绍Broker Load导入的基本原理、基本操作、系统配置以及最佳实践。 适用场景 源数据在Broker可以访问的存储系统中，如HDFS、OBS。 数据量在几十到百GB级别。 基本原理 用户
Metastore的元数据服务，Doris可以自动获取Hive的库表信息，并进行数据查询。 除了Hive外，很多其他系统也会使用Hive Metastore存储元数据。所以通过Hive Catalog，我们不仅能访问Hive，也能访问使用Hive Metastore作为元数据存储的系统。 创建。
最佳实践 因为数据模型在建表时就已经确定，且无法修改。所以，选择一个合适的数据模型非常重要。 数据模型选择 Doris数据模型上目前分为三类：AGGREGATE KEY，UNIQUE KEY，DUPLICATE KEY。三种模型中数据都是按KEY进行排序。 Aggregate模型。
ase、Doris、ClickHouse等大数据组件。 产品介绍 立即使用 立即使用 成长地图 由浅入深，带您玩转CloudTable 01 了解 了解华为云表格存储服务的产品架构、功能和应用场景，有助于您更准确地匹配实际业务，让数据分析变得更简单、更方便。 产品介绍 什么是CloudTable
ClickHouse集群创建表格后提示另外一个节点不存在此数据库？ 问题现象 创建表格时提示另外一个节点不存在此数据库。 图1 结果示意图 原因分析 在创建集群的时候，只在一节点上创建了数据库在其他的节点上未创建数据库。 处理方法 在其他的节点上创建数据库。 方法一： 创建数据库。 create database
导入（Load）功能就是将用户的原始数据导入到Doris中。导入成功后，用户即可通过Mysql客户端查询数据。Doris支持多种导入方式。 支持数据源 Doris提供多种数据导入方案，可以针对不同的数据源选择不同的数据导入方式。 Broker Load Stream Load 支持的数据格式 不同的导入方式支持的数据格式不同。
ClickHouse集群管理简介 ClickHouse是面向联机分析处理的列式数据库，支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。CloudTable ClickHouse集群管理还有以下功能： ClickHous
已提前准备好对接的RDS数据库实例及数据库用户名、密码。详细操作可以参考创建和连接RDS数据库实例。 已成功创建ClickHouse集群且集群和实例状态正常。 约束限制 RDS数据库实例和ClickHouse集群在相同的VPC和子网内。 在进行数据同步操作时需要评估对源数据库和目标数据库性能的影
CloudTable作为大数据存储服务，提供高效的kv随机查询能力。在此基础上，CloudTable服务引入自研的分布式多维标签索引能力，存储格式与计算基于位图进行。用户可以根据自身业务需求来定义HBase表中的哪些字段需要构建标签索引，用户写入数据时将自动生成标签数据。同时，标签索引基
版本机制，支持保存数据的多个历史版本。 通用海量KeyValue数据存储与查询 应用类型 消息数据、报表数据、推荐类数据、风控类数据、日志数据、订单数据等结构化、半结构化的KeyValue数据均可以存储和查询。 应用场景 支持离线、在线海量KeyValue数据高速写入，并提供低延
可伸缩的分布式存储系统。本章节提供从零开始使用HBase的操作指导：通过HBase Shell命令实现创建表，往表中插入数据，修改表，读取表数据，删除表中数据以及删除表的功能。 背景信息 假定用户开发一个应用程序，用于管理企业中的使用A业务的用户信息，使用HBase客户端实现A业务操作流程如下：
Doris支持冷热数据分离特性。通过该特性，您可以将冷热数据分别存储在不同类型的存储介质中，以降低存储成本。主要适用以下场景： 数据存储周期长：面对历史数据的不断增加，存储成本也随之增加。 冷热数据访问频率及性能要求不同：热数据访问频率高且需要快速响应，而冷数据访问频率低且响应速度要求不高。
CloudTable ClickHouse支持冷热数据分离特性。通过该特性，您可以将冷热数据分别存储在不同类型的存储介质中，以降低存储成本。 Hot（热数据）：访问、更新频率较高，未来被调用的概率较高的数据，对访问的响应时间要求很高的数据。 Cold（冷数据）：不允许更新或更新频率比较低，访问
Doris集群目前不支持计算节点CPU、内存规格升、降配，因此需要对Doris集群增加纵向扩容功能。 规格变更只支持从小规格变更为大规格，如果要大规格更改为小规格，建议新建小规格集群，采用数据迁移进行切换。 一次只支持变更一种类型的节点规格（BE、FE），且变更完成后只生效所选类型的节点规格。 规格变
当集群状态处于“服务中”，且没有任何任务操作（如：节点扩容、磁盘扩容等）时，可以执行变更操作。 规格变更只支持从小规格变更为大规格，如果要大规格更改为小规格，建议新建小规格集群，采用数据迁移进行切换。 规格变更过程中，整个集群不可用，变更结束前不能再次变更。 规格变更过程中系统不可用。 一次只支
当集群状态处于“服务中”，且没有任何任务操作（如：节点扩容、磁盘扩容等）时，可以执行变更操作。 规格变更只支持从小规格变更为大规格，如果要大规格更改为小规格，建议新建小规格集群，采用数据迁移进行切换。 一次只支持变更一种类型的节点规格（计算节点、ZooKeeper节点），且变更完成后只生效所选类型的节点规格。
ACTIVE：索引正常，可以正常读写。 UNUSABLE：索引被禁用，索引数据会正常写入，查询时无法使用这个索引。 INACTIVE：索引异常，索引数据与数据表不一致，跳过生成这个索引的索引数据，查询数据时无法使用这个索引。 BUILDING：索引数据正常批量生成，索引数据生成工具执行结束会自动转换到ACTIVE状态，此状态下可以正常读写。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
