检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse数据库设计 ClickHouse DataBase设计 ClickHouse表引擎适用场景说明 父主题： ClickHouse应用开发规范
ClickHouse依赖服务设计 为了保证ClickHouse服务的稳定，需要提早规划好对于底层依赖服务的设计，主要是ZooKeeper，尤其是在使用replicated*系列表引擎的场景下。 ZooKeeper默认部署在MRS集群的Master节点，根据节点CPU和内存规格，调
（车牌号1，车牌号3），（通过的第1个收费站，通过的第2个收费站） 根据通过相同收费站的两辆车的车牌号聚合数据，如下： （车牌号1，车牌号2），[（通过的第1个收费站，通过的第5个收费站），（通过的第2个收费站，通过的第6个收费站），（通过的第1个收费站，通过的第7个收费站），（通过的第3个收费站，通过的第8个收费站）]
（车牌号1，车牌号3），（通过的第1个收费站，通过的第2个收费站） 根据通过相同收费站的两辆车的车牌号聚合数据，如下： （车牌号1，车牌号2），[（通过的第1个收费站，通过的第5个收费站），（通过的第2个收费站，通过的第6个收费站），（通过的第1个收费站，通过的第7个收费站），（通过的第3个收费站，通过的第8个收费站）]
projection)) ，表示命中projection。 命中projection使用规则 Where条件必须是Projection定义中Group By的子集。 Group By必须是Projection定义中Group By的子集。 Select必须是Projection定义中Select的子集。
据存储到表counter_daily_agg中，数据源来自counter。 聚合表在明细表名后加上_{type}_agg后缀；物化视图添加 _{type}_mv后缀。 物化视图、聚合表保持与明细表同样的分区类型及ttl时间。 物化视图中的group by字段名称与明细表对应字段名
户可更专注于上层业务，释放数据更大的价值。 表1 ClickHouse设计规范说明 项目 描述 数据库规划 集群业务规划、容量规划、数据分布。 数据库设计 Database设计、宽表设计、分布式表设计、本地表设计、分区设计、索引设计、物化视图设计。 数据库开发 简单查询、聚合查询
仓一体、流批一体方案的设计与开发方面的规则。其主要包括以下方面的规范： 数据表设计 资源配置 性能调优 常见故障处理 常用参数配置 术语约定 本规范采用以下的术语描述： 规则：编程时必须遵守的原则。 建议：编程时必须加以考虑的原则。 说明：对此规则或建议进行的解释。 示例：对此规则或建议给出示例。
快速使用Hive进行数据分析 Hive是基于Hadoop的一个数据仓库工具，可将结构化的数据文件映射成一张数据库表，并提供类SQL的功能对数据进行分析处理，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，适合用于数据仓库的统计分析。 背景信息 假定用户开发一
一体、流批一体方案的设计与开发方面的规则。其主要包括以下方面的规范： 数据表设计 资源配置 性能调优 常见故障处理 常用参数配置 术语约定 本规范采用以下的术语描述： 规则：编程时强制必须遵守的原则。 建议：编程时必须加以考虑的原则。 说明：对此规则或建议进行的解释。 示例：对此规则或建议从正、反两个方面给出。
输入用户密码 在ClickHouse实例节点上创建和DWS表结构相同的表。 例如，当前执行以下建表语句，在ClickHouse实例上的默认数据库和用户下创建和3中相同表结构的ReplicatedMergeTree表warehouse_t1。 CREATE TABLE warehouse_t1
ClickHouse表引擎适用场景说明 ClickHouse中最强大的表引擎当属MergeTree（合并树）引擎及该系列其他引擎，根据业务场景选择合适的引擎。 表引擎选择建议 自助报表分析、行为数据分析，在不涉及重复数据聚合的情况下，建议使用ReplicatedMergeTree表引擎。 涉
进行选择： 本地元数据：元数据存储于集群内的本地GaussDB中，当集群删除时元数据同时被删除，如需保存元数据，需提前前往数据库手动保存元数据。 外置数据连接：MRS集群创建完成后，可选择关联与当前集群同一虚拟私有云和子网的RDS服务中的PostgresDB或MySQL数据库或云数据库GaussDB(for
快速使用Hive进行数据分析 Hive是基于Hadoop的一个数据仓库工具，可将结构化的数据文件映射成一张数据库表，并提供类SQL的功能对数据进行分析处理，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 背景信息 假定用户开发一
ClickHouse容量规划设计 为了能够更好的发挥ClickHouse分布式查询能力，在集群规划阶段需要合理设计集群数据分布存储。 当前ClickHouse能力为单机磁盘容量达到80%后会上报告警信息，磁盘容量达90%后集群会处于只读状态。 出现磁盘告警信息后需要考虑是否是容量
ClickHouse逻辑视图设计 建议如下： 业务逻辑上有很多比较复杂的SQL运算，可以封装为一个视图，后续查询时只查询视图，简化业务查询使用。 如果业务间有权限隔离诉求，可将部分数据查询封装到视图中，使用视图方只能看到视图下有限行及列的数据。 父主题： ClickHouse应用开发规范
ClickHouse物化视图设计 ClickHouse物化视图概述 ClickHouse普通物化视图设计 ClickHouse Projection设计 父主题： ClickHouse应用开发规范
在使用Hive进行联表查询，且关联的表无大小表的分别（小表数据<24MB）时，建议将此参数值修改为“false”，如果此时将此参数设置为true，执行联表查询时无法生成新的mapjoin。 true hive.default.fileformat Hive使用的默认文件格式，支持T
Hive JDBC接口遵循标准的JAVA JDBC驱动标准。 Hive作为数据仓库类型数据库，其并不能支持所有的JDBC标准API。例如事务类型的操作：rollback、setAutoCommit等，执行该类操作会获得“Method not supported”的SQLException异常。
Hive JDBC接口遵循标准的JAVA JDBC驱动标准。 Hive作为数据仓库类型数据库，其并不能支持所有的JDBC标准API。例如事务类型的操作：rollback、setAutoCommit等，执行该类操作会获得“Method not supported”的SQLException异常。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
