检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置用户租约隔离访问指定节点的HiveServer 操作场景 此功能适用于Hive。 开启此功能可以限定指定用户访问指定节点上的HiveServer服务,实现对用户访问HiveServer服务的资源隔离。 本章节适用于MRS 3.x及后续版本。 操作步骤 以对用户hiveuser
5.0及以后版本。 使用场景 通过CompiledPlan提交的作业,算子的并行度、算子的TTL都以CompiledPlan中的值为准,而不是“flink-conf.yaml”中的值。FlinkSQL支持通过修改作业的CompiledPlan来设置算子并行度。 修改CompiledPlan时不能破坏Json
定义函数的用户: 用户名:填写用户名称,例如:test。 用户类型:选择“人机”用户。 “密码”和“确认新密码”输入该用户对应的密码。 用户组:单击“添加”,选择“hive”和“hadoop”用户组并单击“确定”。 根据集群的认证模式及是否启用Ranger鉴权为新创建的用户赋权:
failover proxy provider中,一旦某进程中的一个NameNode发生故障,在同一进程中的所有HDFS client实例都会尝试再次连接NameNode,导致应用长时间等待超时。 当位于同一JVM进程中的客户端对无法访问的NameNode进行连接时,会对系统造成负担。为了避
限制,最终生效值为两者的乘积。 需要综合考虑核心表业务请求量以及时延要求,核心表时延要求越高/请求越多,建议设置越小的值,通常可设置为:0.5~1.0。 可根据实际业务需求单独或同时开启两种过载控制,RegionServer队列过载控制适用于存在大请求过载的场景,RegionServer
> 域和互信”,查看“本端域”参数获取。 “hive/hadoop.<系统域名>”表示用户名,用户名所包含的系统域名的所有字母为小写。 以上命令执行后将只会登录到被设置租约隔离的HiveServer上。 开启本功能后,必须在登录时使用以上命令才可以访问这个被设置租约隔离的Hive
同权限的角色将会用“|”合并。查询ACL权限时,将显示合并后的结果,与开启该功能前的显示会有区别。此操作不可逆,请充分考虑实际应用场景,再决定是否做出调整。 如果当前组件使用了Ranger进行权限控制,需基于Ranger配置相关策略进行权限管理,具体操作可参考添加Hive的Ranger访问权限策略。
定义函数的用户: 用户名:填写用户名称,例如:test。 用户类型:选择“人机”用户。 “密码”和“确认新密码”输入该用户对应的密码。 用户组:单击“添加”,选择“hive”和“hadoop”用户组并单击“确定”。 根据集群的认证模式及是否启用Ranger鉴权为新创建的用户赋权:
在数据分析的实际应用场景中,冷热数据经常有不同的查询频次及响应速度要求。例如,在行为分析场景中,需支持近期流量数据的高频查询和高时效性,历史数据的访问频次很低,但需长时间备份以保证后续的审计和回溯工作,且查询需求也会随着时间推移锐减,如果将所有数据存储在本地,将造成大量的资源浪费。
使用场景 FlinkSQL写入JDBC数据时可以过滤掉DELETE和UPDATE_BEFORE状态的数据。 使用方法 在创建的JDBC Connector Sink流表中添加“filter.record.enabled”和“filter.row-kinds”参数。 “filter.record
议类型的安全认证。可通过设置Kafka服务配置“ssl.mode.enable”为“true”,来启动SSL和SASL_SSL两种协议类型的安全认证。下表是四种协议类型的简单说明: 协议类型 说明 默认端口 PLAINTEXT 支持无认证的明文访问 获取参数“port”的值,默认为9092
致数据膨胀的算子时,使用该特性可以有效减少数据的膨胀倍数,且减少shuffle落盘的数据,从而获得性能提升。开启后,count(distinct)算子的实现,将由原来的expand+多轮聚合,变成普通的count_distinct聚合函数。 使用约束 作业已配置足够的内存。 配置参数
OBS对象存储是支持海量数据存储,并提供安全可靠的、低成本的分布式存储服务,ClickHouse基于OBS的优势构建冷热分离存储架构。ClickHouse实例所在的SSD云盘存放最近时间生成并且频繁访问的“热数据”,OBS存放较早时间生成且访问不频繁的“冷数据”,在建表的时候使用TTL实现数据根据特定时间策略进行冷热存储。
开启此功能后,Hive将支持创建超过32个角色。 开启本功能并对表库等授权后,对表库目录具有相同权限的角色将会用“|”合并。查询acl权限时,将显示合并后的结果,与开启该功能前的显示会有区别。此操作不可逆,请充分考虑实际应用场景,再决定是否做出调整。 MRS3.x及后续版本支持R
支持Kerberos认证的明文访问。 获取参数“sasl.port”的值,默认为21007。 SSL 支持无认证的SSL加密访问。 获取参数“ssl.port”的值,默认为9093。 SASL_SSL 支持Kerberos认证的SSL加密访问。 获取参数“sasl-ssl.port”的值,默认为21009。
切换Hive执行引擎为Tez 操作场景 Hive支持使用Tez引擎处理数据计算任务,用户在执行任务前可手动切换执行引擎为Tez。 前提条件 集群已安装Yarn服务的TimelineServer角色,且角色运行正常。 客户端切换执行引擎为Tez 安装并登录Hive客户端,具体操作请参考Hive客户端使用实践。
由于get_slowlog_responses和get_largelog_responses使用方法和支持的参数一致,这里主要介绍get_slowlog_responses的使用方法。 已登录HBase Shell命令行,详细操作请参见HBase客户端使用实践。 查看所有RegionServer的慢请求: get_slowlog_responses
需要查看的Doris租户,查看租户概述和资源配额。 选择“资源”,单击“资源详情”后的,对租户资源进行修改。 修改完成后,单击“确定”,返回“资源”页面,展示修改后的资源详情。 在“概述”的“资源配额”是静态的,并不是实时刷新,只在加载时更新。 因为Doris租户代表的是Workload
DATABASES,USE DB等命令查看和切换对应Catalog中的Database。Doris会自动同步Catalog中的Database和Table。用户可以像使用Internal Catalog一样,对External Catalog中的数据进行查看和访问。 当前,Doris只支持对External
败后,支持回滚到事务执行之前的状态。 本章节主要介绍如何开启ClickHouse事务。 使用本地表场景进行数据写入性能更优,故推荐本地表的数据增、删、改、查场景的多副本分布式事务支持。 对于使用分布式表进行数据写入场景的分布式事务,需要结合分布式表事务insert_distrib