检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
系统域名”,例如:zookeeper/hadoop.HADOOP.COM。系统域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数值获取。; [3] zookeeper.sasl.client:如果MRS集群是安全模式,该值设置为“true”,否则设置为
在FusionInsight Manager,选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络写信息 > 写包丢包率”,查看该告警阈值是否合理(默认0.5%为合理值,用户可以根据自己的实际需求调节)。 是,执行4。 否,执行2。 根据实际服务的使用情况在“运维 >
如何关闭ZooKeeper的SASL认证? 在MRS集群外客户端中执行kinit报错“Permission denied”如何处理? ClickHouse客户端执行SQL查询时报内存不足如何处理? MRS如何连接spark-shell? MRS如何连接spark-beeline? 连接ClickHouse服务端异常报错“code:
使用Get读取HBase数据 使用Scan读取HBase数据 使用HBase过滤器Filter 添加HBase二级索引 启用/禁用HBase二级索引 查询HBase二级索引列表 使用HBase二级索引读取数据 删除HBase二级索引 HBase Region的多点分割 HBase ACL安全配置
ClickHouse常见问题 在System.disks表中查询到磁盘status是fault或者abnormal 如何迁移Hive/HDFS的数据到ClickHouse 使用辅助Zookeeper或者副本数据同步表数据时,日志报错 如何为ClickHouse用户赋予数据库级别的Select权限
使用HetuEngine HetuEngine交互查询引擎概述 HetuEngine用户权限管理 快速使用HetuEngine访问Hive数据源 创建HetuEngine计算实例 添加HetuEngine数据源 配置HetuEngine物化视图 配置HetuEngine SQL诊断功能
视图: 将视图v分别赋给用户hiveuser1、hiveuser2,当hiveuser1查询视图v时,“current_user()”被自动转化为hiveuser1,当hiveuser2查询视图v时,“current_user()”被自动转化为hiveuser2: create view
该选项的含义为告警检查阶段,“平滑次数”为连续检查多少次超过阈值,则发送告警。 单击规则“操作”列的“修改”,根据实际情况更改告警阈值。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行3。 检查磁盘IO利用率是否达到上限。 在FusionInsight Manager页面,选择“运维
该选项的含义为告警检查阶段,“平滑次数”为连续检查多少次超过阈值,则发送告警。 单击“操作”列的“修改”,根据实际情况更改告警阈值。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行3。 检查CPU使用率是否达到上限。 在FusionInsight Manager页面,选择“运维
from_table1(a int,b string); create table in_table1(a int,b string); --查询表名以"show"开始的表的详细信息 show table extended like 'show*';
00之间的值。 200 hfile.block.cache.size HBase缓存区大小,主要影响查询性能。根据查询模式以及查询记录分布情况来决定缓存区的大小。如果采用随机查询使得缓存区的命中率较低,可以适当降低缓存区大小。 当offheap关闭时,默认值为“0.25”。当offheap开启时,默认值是“0
模分布式数据存储和计算,SparkStreaming、Flink流式数据计算,Presto交互式查询,Tez有向无环图的分布式计算框等Hadoop生态圈的组件,进行海量数据分析与查询。 HBase集群:HBase集群使用Hadoop和HBase组件提供一个稳定可靠,性能优异、可伸
创建HBase客户端连接 创建HBase表 创建HBase表Region 向HBase表中插入数据 创建HBase表二级索引 基于二级索引查询HBase表数据 修改HBase表 使用Get API读取HBase表数据 使用Scan API读取HBase表数据 使用Filter过滤器读取HBase表数据
算法。 流式处理(Streaming Processing):支持秒级延迟的流式处理,可支持多种外部数据源。 查询分析(Query Analysis):支持标准SQL查询分析,同时提供DSL(DataFrame), 并支持多种外部输入。 Apache Spark部件架构如图1所示。本文档重点介绍Spark、Spark
op存储技术上难以实现或无法实现的应用。 Kudu的应用场景有: 需要最终用户立即使用新到达数据的报告型应用。 同时支持大量历史数据查询和细粒度查询的时序应用。 使用预测模型并基于所有历史数据定期刷新预测模型来做出实时决策的应用。 Kudu开发接口简介 Kudu本身是由C++语言
-defaults.conf”配置文件中,重启JDBCServer实例。 MRS_3.2.0-LTS.1.6以及之后补丁,Spark支持子查询字段不带聚合函数语法,开启方法(若之前有设置过,则跳过):在JDBCServer的自定义custom参数添加spark.sql.legacy
INSERT SELECT语句调优 动态分区插入场景内存优化 小文件优化 聚合算法优化 Datasource表优化 合并CBO优化 多级嵌套子查询以及混合Join的SQL调优 父主题: 使用Spark2x(MRS 3.x及之后版本)
${table_name}_ro; 读优化视图读取(Spark dataSource API为例):和读普通的dataSource表类似。 必须指定查询类型QUERY_TYPE_OPT_KEY 为QUERY_TYPE_READ_OPTIMIZED_OPT_VAL spark.read.format("hudi")
${table_name}_ro; 读优化视图读取(Spark dataSource API为例):和读普通的dataSource表类似。 必须指定查询类型QUERY_TYPE_OPT_KEY为QUERY_TYPE_READ_OPTIMIZED_OPT_VAL spark.read.format("hudi")
解决的问题 MRS 2.0.6.1 修复问题列表: MRS Manager 优化补丁机制 解决偶现获取监控指标为空的问题 解决DLF+Presto查询时字段中包含换行符,数据和文件显示问题。 补丁兼容关系 无 安装补丁的影响 安装MRS 2.0.6.1补丁期间会重启MRS Manager