检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DBeaver访问Phoenix 应用场景 DBeaver是一个SQL客户端和数据库管理工具。对于关系数据库,使用JDBC API通过JDBC驱动程序与数据库交互。对于其他数据库(NoSQL),使用专有数据库驱动程序。
配置HDFS冷热数据迁移 配置场景 冷热数据迁移工具根据配置的策略移动HDFS文件。配置策略是条件或非条件规则的集合。如果规则匹配文件集,则该工具将对该文件执行一组行为操作。 冷热数据迁移工具支持以下规则和行为。
配置HDFS冷热数据迁移 配置场景 冷热数据迁移工具根据配置的策略移动HDFS文件。配置策略是条件或非条件规则的集合。如果规则匹配文件集,则该工具将对该文件执行一组行为操作。 冷热数据迁移工具支持以下规则和行为。
安装Python 用于开发Hive应用程序的工具,版本要求不低于2.6.6,最高不超过2.7.13。 安装setuptools Python开发环境的基本配置,版本要求5.0以上。 Python开发工具的详细安装配置可参见配置Hive Python样例工程。
enableIndices ():启用指定的索引(索引状态将从INACTIVE变为ACTIVE状态),因此可用于扫描索引。
Spark REST API接口介绍 功能简介 Spark的REST API以JSON格式展现Web UI的一些指标,提供用户一种更简单的方法去创建新的展示和监控的工具,并且支持查询正在运行的app和已经结束的app的相关信息。
安装Python 用于开发Hive应用程序的工具,版本要求不低于2.6.6,最高不超过2.7.13。 安装setuptools Python开发环境的基本配置,要求5.0之后版本。 Python开发工具的详细安装配置可参见配置Hive Python样例工程。
MRS 1.9.2.2补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.9.2.2 发布时间 2021-05-18 解决的问题 MRS Manager 解决sudo提权漏洞 解决扩容刷新队列会导致队列丢失问题 MRS大数据组件 解决Hive on Spark任务报block
N/A running_0004 SQL已经发生的数据扫描量。 Hive Spark HetuEngine ClickHouse SQL扫描数据量,单位为GB。 建议配置值:10240 N/A 父主题: 管理MRS集群SQL防御规则
熔断规则存在统计误差,例如规则running_0004,扫描数据量阈值配置10GB,但是因为判断周期和任务并发影响,可能在15GB甚至更高才进行熔断。
批量升级MRS集群客户端 在FusionInsight Manager界面上下载的客户端包中包含客户端批量升级工具,当集群升级或扩容后需要对多个客户端进行升级时,可以使用该工具对客户端进行批量一键升级。
QueryExecutorImpl.java:1191) at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:346) 回答: 带有分区条件的查询,Hiveserver会对分区进行优化,避免全表扫描
scan_bytes bigint 查询总共扫描的字节数。 scan_rows bigint 查询总共扫描的行数。 return_rows bigint 查询结果返回的行数。 stmt_id int 自增ID。 is_query tinyint 是否为查询语句。
staging/history/done_intermediate 固定目录 所有任务运行完成后,临时存放/tmp/hadoop-yarn/staging目录下文件 否 MR任务日志丢失 /tmp/hadoop-yarn/staging/history/done 固定目录 周期性扫描线程定期将
避免全表扫描,需要查询元数据符合条件的所有分区。 而gaussDB中提供的接口sendOneQuery,调用的sendParse方法中对参数的限制为32767。 如果分区条件数超过32767就异常。 父主题: Hive常见问题
支持客户进行MRS服务相关开源组件漏洞分析,如影响分析、修复建议,由用户负责评估对应的业务影响和进行最终实施。 不支持的服务 不负责提供具体MRS集群和开源大数据组件管理的运维操作,包括参数配置修改、重启、容量规划、组件性能优化以及集群上任何运维操作等。
工作方式与HDFS的Balancer工具类似。不同的是,HDFS Balancer工具用于DataNode节点间的数据均衡,而HDFS DiskBalancer用于单个DataNode节点上各磁盘之间的数据均衡。
安装Python 用于开发Hive应用程序的工具,版本要求不低于2.6.6,最高不超过2.7.13。 安装setuptools Python开发环境的基本配置,版本要求5.0以上。 Python开发工具的详细安装配置可参见配置Hive Python样例工程。
Python开发工具的详细安装配置可参见配置Hive Python样例工程。 表3 Python3开发环境 准备项 说明 操作系统 开发环境和运行环境:Linux系统。 安装Python3 用于开发Hive应用程序的工具,版本要求不低于3.6,最高不超过3.8。
作为查询大数据的工具的补充,Impala不会替代基于MapReduce构建的批处理框架,例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。