检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
e应用中,不同的键值对应的region不同,这就需要设定特殊的partitioner类分配map的输出结果。 setSortComparatorClass(Class<extends RawComparator> cls) 指定MapReduce作业的map任务的输出结果压缩类,
群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。然后选择“集群 > 待操作的集群名称
式关联B表字段(P1,B1,B2,B3)生成C的场景中,B表信息发生大量更新,但是B中的所需字段没有更新,在该关联中仅用到了B表的B1和B2字段,对于B表,每个记录更新只更新B3字段,B1和B2不更新,因此当B表更新,可以忽略更新后的数据。 select A.A1,B.B1,B
需要重新登录客户端配置。 当执行引擎需要切换为其它引擎时,需要将自定义参数“yarn.timeline-service.enabled”的值设置为“false”。 单击“保存”在弹出窗口单击“确定”。 针对MRS 3.x之前版本,请单击“保存配置”在弹出窗口单击“是”。 选择“概览
交的SQL任务判断是否存在查询的表和写入的表是同一张表,如果存在就进行拦截,否则不拦截。nonstrict模式的拦截逻辑是在SQL编译阶段完成的,该模式优点是拦截效率高,缺点是查询和写入分区所对应的表相同,分区不同时也会被拦截。 strict模式是按照分区进行拦截的,即对提交的S
e应用中,不同的键值对应的region不同,这就需要设定特殊的partitioner类分配map的输出结果。 setSortComparatorClass(Class<extends RawComparator> cls) 指定MapReduce作业的map任务的输出结果压缩类,
Joins中的inner join语句。 不支持与作业级TTL、表级TTL、小表广播特性同时使用。 使用JTL特性的表需要指定主键,否则可能导致结果不准确。 方式一:可通过SQL Hint使用 eliminate-state.left.threshold:表示左边关联次数的阈值,超过阈值后,该条数据就会过期。
滤掉分区路径不存在的分区,来避免读取时报错。 配置描述 可以通过以下两种方式配置是否过滤掉分区表分区路径不存在的分区。 在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.sql.hive.verifyPartitionPath
port”的值,默认为21009。 Topic的ACL设置 Topic的权限信息,需要在Linux客户端上,使用“kafka-acls.sh”脚本进行查看和设置,具体可参考Kafka用户权限说明。 针对不同的Topic访问场景,Kafka中API使用说明 场景一:访问设置了ACL的Topic 使用的API 用户属组
se。设置为true,则支持对接开源ClickHouse 单击“保存”,在弹窗页面中单击“确定”,保存配置。单击“实例”,勾选ClickHouseServer实例,选择“更多 > 滚动重启实例”,重启ClickHouseServer实例。 父主题: ClickHouse企业级能力增强
uselocalFileCollect开启的情况下生效。直接序列化的方式,还是间接序列化的方式保存结果数据到磁盘。 优点:针对分区数特别多的表查询结果汇聚性能优于直接使用结果数据保证在磁盘的方式。 缺点:和spark.sql.uselocalFileCollect开启时候的缺点一样。 true:使用该功能。
开启此功能后,Hive将支持创建超过32个角色。 开启本功能并对表库等授权后,对表库目录具有相同权限的角色将会用“|”合并。查询acl权限时,将显示合并后的结果,与开启该功能前的显示会有区别。此操作不可逆,请充分考虑实际应用场景,再决定是否做出调整。 MRS3.x及后续版本支持R
操作场景 Kafka消息传输保障机制,可以通过配置不同的参数来保障消息传输,进而满足不同的性能和可靠性要求。本章节介绍如何配置Kafka高可用和高可靠参数。 本章节内容适用于MRS 3.x及后续版本。 对系统的影响 配置高可用、高性能的影响: 配置高可用、高性能模式后,数据可靠性会降低
Doris默认租户“normal”的内存占比是90%,并发数是“10000”。 图1 Doris租户模型 用户与租户关联后,该用户提交的query任务就与Workload Group相关联,可以限制单个查询在BE节点上的CPU和内存资源的百分比,和配置资源组的内存软隔离。 开启内存软隔离
<系统域名>”表示用户名,用户名所包含的系统域名的所有字母为小写。 以上命令执行后将只会登录到被设置租约隔离的HiveServer上。 开启本功能后,必须在登录时使用以上命令才可以访问这个被设置租约隔离的HiveServer。如果直接使用beeline命令登录客户端,将只会访问其他没有被设置租约隔离的HiveServer。
在启用Adaptive Execution特性前,Spark SQL根据RBO和CBO的优化结果创建执行计划,此种方法忽略了数据在运行过程中的结果集变化。比如基于某个大表创建的视图,与其他大表join时,即便视图的结果集很小,也无法将执行计划调整为BroadcastJoin。启用Adaptive
端中保存了大量的已经过期的数据,给状态后端造成了较大的压力。为了减少状态后端的压力,可以单独为左表和右表设置不同的过期时间。不支持where子句。 可通过使用Hint方式单独为左表和右表设置不同的过期时间,如左表(state.ttl.left)设置TTL为60秒,右表(state
败后,支持回滚到事务执行之前的状态。 本章节主要介绍如何开启ClickHouse事务。 使用本地表场景进行数据写入性能更优,故推荐本地表的数据增、删、改、查场景的多副本分布式事务支持。 对于使用分布式表进行数据写入场景的分布式事务,需要结合分布式表事务insert_distrib
配置HBase冷热分离 配置HBase冷热数据分离存储 HBase冷热分离相关命令介绍 父主题: HBase企业级能力增强
配置Doris多租户 Doris多租户介绍 管理Doris租户 Doris多租户监控告警介绍 父主题: Doris企业级能力增强