检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询管理”,即可查看正在进行的慢查询和已经结束的查询,还可以根据图表查看前Top 10的执行慢查询的用户名、提交慢SQL语句的客户端IP及慢查询语句,其中: Doris集群中Top 10使用的用户:用于统计登录Doris客户端执行慢查询排前TOP 10的Doris用户。 Doris集群中Top
配置场景 在安全模式的多租户场景下,一个集群可以支持多个用户使用以及支持多个用户任务提交、运行,用户之间是不可见,需要有一个权限控制机制,使用户的任务信息不被其他用户获取。 例如,用户A提交的应用正在运行,此时用户B登录系统并查看应用列表,用户B不应该访问到A用户的应用信息。 配置描述
使用FlinkSQL时支持设置行级别过滤条件,可以使指定用户只能访问授权过的行,隐藏未授权的行数据。 前提条件 集群已启用Kerberos认证(安全模式),已安装Ranger、Hive、Flink等服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role,且用户已加入hive组。 该特性仅支持在FlinkServer平台使用。
配置Yarn数据访问通道协议 配置场景 服务端配置了web访问为https通道,如果客户端没有配置,默认使用http访问,客户端和服务端的配置不同,就会导致访问结果显示乱码。在客户端和服务端配置相同的“yarn.http.policy”参数,可以防止客户端访问结果显示乱码。 操作步骤 在Manager系统中,选择“集群
配置Yarn数据访问通道协议 配置场景 服务端配置了web访问为https通道,如果客户端没有配置,默认使用http访问,客户端和服务端的配置不同,就会导致访问结果显示乱码。在客户端和服务端配置相同的“yarn.http.policy”参数,可以防止客户端访问结果显示乱码。 操作步骤 在Manager系统中,选择“集群
滤掉分区路径不存在的分区,来避免读取时报错。 配置描述 可以通过以下两种方式配置是否过滤掉分区表分区路径不存在的分区。 在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.sql.hive.verifyPartitionPath
RegionServer信息到广播地址。配置了监听该广播地址的Listener将接收到Dead RegionServer的信息,并自动剔除客户端建立的Connection中该Dead RegionServer上的Region位置缓存信息,在下次访问这部分Region时拉取最新的位置信息,实现业务侧及时识别故障
修改“kafka-logs”目录下的“recovery-point-offset-checkpoint”和“replication-offset-checkpoint”文件(两个文件做同样的修改)。 减少文件中第二行的数字(如果移出多个目录,则减少的数字为移出的目录个数)。 删除待移出的Partition所在的行(行结构为“Topic名称
threshold-pct 满足“dfs.namenode.replication.min”定义的最小复制需求的块的比例。取值范围:0~1.0。 值小于等于0时,NameNode会直接退出安全模式,不会等待任何指定比例的块。 值大于1时,NameNode会永久处于安全模式。 0.999999 参数修改后保存配置。
(两个文件做同样的修改)。 减少文件中第二行的数字(若移出多个目录,则减少的数字为移出的目录个数)。 删除待移出的Partition所在的行(行结构为“Topic名称 Partition标识 Offset”,删除前先将该行数据保存,后续此内容还要添加到目的目录下的同名文件中)。
memory.policy”。 配置说明: 配置项的默认值为空,此时不会启动自动调整的策略,ApplicationMaster的内存仍受“yarn.app.mapreduce.am.resource.mb”配置项的影响。 配置参数的值由5个数值组成,中间使用“:”与“,”分隔,格式
极大地提升了写性能。 例如Client1和Client2同时对不相关的目录A、B进行写操作,此时对A和B的操作没有竞争关系,不会持有同一把锁,可以极大提升写性能。 该功能适用于MRS 3.5.0及之后版本。 操作步骤 使用MRS集群管理员用户(例如admin)登录Manager页面。
提前关闭文件,提升写数据性能。但是由于提前关闭了文件,可能在读取数据的时候由于块找不到或者NameNode元数据中记录的数据块信息和DataNode中存储的真实副本不一致而失败。因此该特性不适用于写完数据即读的场景,请结合业务场景谨慎使用该特性。 该功能适用于MRS 3.2.0-LTS
选择“true”时,禁用Transform功能,与开源社区版本保持一致。 选择“false”时,开启Transform功能,存在一定的安全风险。 父主题: Hive企业级能力增强
群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。然后选择“集群 > 待操作的集群名称
配置AM自动调整分配内存 配置场景 启动该配置的过程中,ApplicationMaster在创建container时,分配的内存会根据任务总数的浮动自动调整,资源利用更加灵活,提高了客户端应用运行的容错性。 配置描述 参数入口: 在Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > Yarn
客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通道,如DataNode与NameNode间的RPC通道。 客户端访问Yarn的RPC通道。 NodeManager和ResourceManager间的RPC通道。 Spark访问Yarn,Spark访问HDFS的RPC通道。
开启ClickHouse租户CPU优先级配置 创建ClickHouse租户 修改ClickHouse服务级别内存限制 父主题: ClickHouse企业级能力增强
客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通道,如DataNode与NameNode间的RPC通道。 客户端访问Yarn的RPC通道。 NodeManager和ResourceManager间的RPC通道。 Spark访问Yarn,Spark访问HDFS的RPC通道。
配置用户租约隔离访问指定节点的HiveServer 操作场景 此功能适用于Hive。 开启此功能可以限定指定用户访问指定节点上的HiveServer服务,实现对用户访问HiveServer服务的资源隔离。 本章节适用于MRS 3.x及后续版本。 操作步骤 以对用户hiveuser