检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Tserver进程内存使用百分比超过阈值”告警，查看告警来源。 在“运维 > 告警 > 阈值设置 > Kudu”，找到该告警的阈值，再对比集群KuduTserver实例的内存使用百分比监控项，和阈值对比，查看阈值超过情况，找到内存使用百分比超阈值的节点。 通过增加节点、重新规划任务等方式，处理Tserver
配置HetuEngine物化视图 HetuEngine物化视图概述 HetuEngine物化视图SQL示例 配置HetuEngine物化视图改写能力 配置HetuEngine物化视图推荐能力 配置HetuEngine物化视图缓存能力 配置HetuEngine物化视图的有效期与数据刷新能力
--batch-sync-num 指定每批次同步hive的分区数 N 1000 Hive Sync时会判断表不存在时建外表并添加分区，表存在时对比表的schema是否存在差异，存在则替换，对比分区是否有新增，有则添加分区。 因此使用hive sync时有以下约束： 写入数据Schema只允许增加字段，不允许修改、删除字段。
HetuEngine物化视图概述 HetuEngine物化视图功能适用于MRS 3.2.0及以后版本。 HetuEngine物化视图背景介绍 HetuEngine具备物化视图能力。在实际运用中，将高频访问的SQL查询和有高耗时的算子（连接， 聚合等算子）的SQL通过建立物化视图进
< ‘2020-11-10’ and pt_d > ‘2020-11-03’; 在分组、join等操前做数据过滤，减少计算的数据量。 【效果对比】 用PREWHERE替代WHERE，优先过滤数据，加速查询。 PREWHERE相对于WHERE在执行时的区别：首先只读取PREWHERE
ak中： insert into tableNameBak select * from tableName; 数据写入成功后，执行以下命令对比表tableName和tableNameBak中的数据条数是否一致。 select count(*) from dbName.tableName;
表模型。关于MOR表在读写性能的对比关系如下： 对比维度 MOR表 COW表 流式写 高 低 流式读 高 低 批量写 高 低 批量读 低 高 实时入湖，表模型采用MOR表。 实时入湖一般的性能要求都在分钟内或者分钟级，结合Hudi两种表模型的对比，因此在实时入湖场景中需要选择MOR表模型。
读取Hudi cow表视图 实时视图读取（Hive，SparkSQL为例）：直接读取Hive里面存储的Hudi表即可，${table_name}表示表名称。 select count(*) from ${table_name}; 实时视图读取（Spark dataSource A
读取Hudi mor表视图 mor表同步给Hive后，会在Hive表中同步出：“表名+后缀_rt”和“表名+后缀_ro”两张表。其中后缀为rt表代表实时视图，后缀为ro的表代表读优化视图。例如：同步给Hive的hudi表名为${table_name}， 同步Hive后hive表中
读取Hudi mor表视图 mor表同步给Hive后，会在Hive表中同步出：“表名+后缀_rt”和“表名+后缀_ro”两张表。其中后缀为rt表代表实时视图，后缀为ro的表代表读优化视图。例如：同步给Hive的hudi表名为${table_name}， 同步Hive后hive表中
96);-- 0.6244717358814612 cosine_similarity(x, y) → double 返回稀疏向量x和y之间的余弦相似度。 SELECT cosine_similarity (MAP(ARRAY['a'],ARRAY[1.0]),MAP(ARRAY['a']
ClickHouse物化视图设计 ClickHouse物化视图概述 ClickHouse普通物化视图设计 ClickHouse Projection设计 父主题： ClickHouse应用开发规范
读取Hudi cow表视图 实时视图读取（Hive，SparkSQL为例）：直接读取Hive里面存储的Hudi表即可，${table_name}表示表名称。 select count(*) from ${table_name}; 实时视图读取（Spark dataSource A
HetuEngine物化视图SQL示例 物化视图SQL示例请参考表1。 表1 物化视图的操作 操作 功能 物化视图SQL样例 备注 创建物化视图 （创建物化视图时，只创建了物化视图的定义，数据填充需要使用refresh materialized view name刷新物化视图数据）
节点。增加任务的并行度，充分利用集群机器的计算能力，一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数，优先级最高。 testRDD
通过弹性负载均衡访问ClickHouse ELB的部署架构对比BalancedClickhouseDataSource的优势可以参考表1说明。 表1 ELB和BalancedClickhouseDataSource两种负载均衡方案对比 负载均衡方案 方案对比 ELB 支持多种请求策略 故障自动检测转移
通过弹性负载均衡访问ClickHouse ELB的部署架构对比BalancedClickhouseDataSource的优势可以参考表1说明。 表1 ELB和BalancedClickhouseDataSource两种负载均衡方案对比 负载均衡方案 方案对比 ELB 支持多种请求策略 故障自动检测转移
合理设置并行度 任务运行的速度和并行度相关，一般来说提升并行度能有效提升读取的速度，但是过大的并行度可能导致部分节点资源的浪费，过小的并行度可能导致部分节点运行缓慢。对于SQL当前不能手动指定每个Task的并行度，指定的是所有Task统一的并行度。 推荐Source的并行度由上游组件
ClickHouse逻辑视图设计 建议如下： 业务逻辑上有很多比较复杂的SQL运算，可以封装为一个视图，后续查询时只查询视图，简化业务查询使用。 如果业务间有权限隔离诉求，可将部分数据查询封装到视图中，使用视图方只能看到视图下有限行及列的数据。 父主题： ClickHouse应用开发规范
否有表权限都可以进行查询。视图的权限是针对整个表而言的，不支持对其中的部分列创建视图权限。 视图权限在SparkSQL权限上的限制与列权限相似，详细如下： 在spark-sql模式下，只有视图权限而没有表权限，且没有HDFS的读取权限时，用户不能访问HDFS上存储的表的数据，即该情况下不支持对该表的视图进行查询。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
