检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HetuEngine物化视图SQL示例 物化视图SQL示例请参考表1。 表1 物化视图的操作 操作 功能 物化视图SQL样例 备注 创建物化视图 (创建物化视图时,只创建了物化视图的定义,数据填充需要使用refresh materialized view name刷新物化视图数据) 创建永不过期的物化视图
查看物化视图 NA NA NA 查看物化视图的创建语句 表的Show权限 表的Show权限 NA 使用HetuEngine物化视图介绍 表2 物化视图使用介绍 阶段 说明 参考章节 物化视图SQL示例 介绍物化视图支持的操作,包括创建物化视图、列举物化视图、查询物化视图等 HetuEngine物化视图SQL示例
ClickHouse逻辑视图设计 建议如下: 业务逻辑上有很多比较复杂的SQL运算,可以封装为一个视图,后续查询时只查询视图,简化业务查询使用。 如果业务间有权限隔离诉求,可将部分数据查询封装到视图中,使用视图方只能看到视图下有限行及列的数据。 父主题: ClickHouse应用开发规范
读取Hudi cow表视图 实时视图读取(Hive,SparkSQL为例):直接读取Hive里面存储的Hudi表即可,${table_name}表示表名称。 select count(*) from ${table_name}; 实时视图读取(Spark dataSource A
读取Hudi mor表视图 mor表同步给Hive后,会在Hive表中同步出:“表名+后缀_rt”和“表名+后缀_ro”两张表。其中后缀为rt表代表实时视图,后缀为ro的表代表读优化视图。例如:同步给Hive的hudi表名为${table_name}, 同步Hive后hive表中
读取Hudi mor表视图 mor表同步给Hive后,会在Hive表中同步出:“表名+后缀_rt”和“表名+后缀_ro”两张表。其中后缀为rt表代表实时视图,后缀为ro的表代表读优化视图。例如:同步给Hive的hudi表名为${table_name}, 同步Hive后hive表中
读取Hudi cow表视图 实时视图读取(Hive,SparkSQL为例):直接读取Hive里面存储的Hudi表即可,${table_name}表示表名称。 select count(*) from ${table_name}; 实时视图读取(Spark dataSource A
配置HetuEngine物化视图 HetuEngine物化视图概述 HetuEngine物化视图SQL示例 配置HetuEngine物化视图改写能力 配置HetuEngine物化视图推荐能力 配置HetuEngine物化视图缓存能力 配置HetuEngine物化视图的有效期与数据刷新能力
ClickHouse物化视图概述 由于TTL规则不会从原始表中同步到物化视图表,因此源表中带有TTL规则时,物化视图表同样需要配置TTL规则,并且建议与源表保持一致。 表1 普通物化视图与projection对比 物化视图类型 原表数据与物化视图一致性 灵活性 物化视图开发及维护复杂度 普通物化视图
智能物化视图包括以下几个功能: 自动推荐物化视图 自动创建物化视图 自动刷新物化视图 自动删除物化视图 使用HetuEngine智能物化视图前提条件 集群运行正常并至少安装一个QAS实例。 HetuEngine智能物化视图应用流程 图1 HetuEngine智能物化视图应用流程 表1
配置HetuEngine物化视图缓存能力 对于一条SQL,创建了对应的物化视图后,执行这条SQL时,将被改写为通过物化视图查询。如果开启了物化视图的“重写缓存”功能,那么多次执行这条SQL后,改写后的SQL将会保存到缓存中(默认最多保存10000条),在缓存有效时间(默认24小时
WebUI”后的链接,进入HSConsole界面。 选择“SQL运维 > 物化视图推荐”,可根据“租户”、“状态”、“推荐周期”、“物化视图名称”进行搜索,支持模糊搜索,支持导出指定物化视图推荐结果信息。 物化视图任务的“状态”包括如下: 表2 物化视图任务的“状态” 状态名称 描述 状态名称 描述 To
ema.t1”。 物化视图改写场景示例 物化视图的改写的核心原理是逻辑上创建的物化视图的数据要包含未来的查询语句要查询的数据,也可以是未来查询中的子查询要包含的全部数据。建议用户打开自动创建物化视图功能针对性的创建物化视图,以下为部分场景示例: 创建物化视图SQL样例中省略“CREATE
型及ttl时间。 物化视图中的group by字段名称与明细表对应字段名称一致;select子句返回列名称与聚合表中列的名称保持一致。 物化视图创建时不会进行语法校验,只有发生实际数据插入与查询时才会出错。 物化视图上线前,需做好充分验证。 规则 物化视图(Materialized
ClickHouse物化视图设计 ClickHouse物化视图概述 ClickHouse普通物化视图设计 ClickHouse Projection设计 父主题: ClickHouse应用开发规范
Sqoop如何连接MySQL 用户问题 Sqoop如何连接MySQL数据库。 处理步骤 在集群上安装客户端,查看客户端“sqoop/lib”目录下是否有MySQL驱动包。 在客户端目录下加载环境变量。 source bigdata_env 执行Kerberos用户认证。 如果集群
ClickHouse开启mysql_port配置 本章节指导用户使用MySQL客户端连接ClickHouse。 操作步骤 登录FusionInsight Manager,选择“集群 > 服务 > ClickHouse >配置 > 全部配置”。搜索参数项“clickhouse-co
源类型“JDBC > MySQL”。 配置“MySQL配置”,参数配置请参考表1。 表1 MySQL配置 参数 描述 取值样例 驱动 默认为“mysql”。 mysql 驱动名称 选择2中已提前上传的待使用的MySQL驱动,格式为xxx.jar。 mysql-connector-java-8
jar”,具体MySQL jdbc驱动程序选择参见下表。 表1 版本信息 jdbc驱动程序版本 MySQL版本 Connector/J 5.1 MySQL 4.1、MySQL 5.0、MySQL 5.1、MySQL 6.0 alpha Connector/J 5.0 MySQL 4.1、MySQL
spark-beeline查询Hive视图报错 用户问题 MRS 3.1.2版本,spark-beeline查询Hive视图报错,报错如下: 根据提示set spark.sql.hive.manageFilesourcePartitions=false后,查不到数据(但是实际在Hive查询中是有数据的)。