检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
8.3.0版本。 说明: 如果开发环境使用的是JDK1.7版本,则Flink集群的运行环境可以是JDK1.7也可以是JDK1.8。 如果开发环境使用的是JDK1.8版本,则Flink集群的运行环境必须是JDK1.8,否则,如果运行环境是JDK1.7,则会报JDK版本错误的信息。 安装和配置IDEA
spark.sql.hive.CarbonInternalExtensions 如果是SQL操作,执行SQL前需要执行: set hoodie.schema.evolution.enable=true 如果是API操作,DataFrame options里面需要指定: hoodie.schema
补丁基本信息说明 表1 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.9 发布时间 2024-06-30 解决的问题 MRS 3.2.0-LTS.1.9修复问题列表: 解决HetuEngine查询gauss date字段报错的问题。 解决HetuEngine计算实例在Yarn上启动失败的问题。
判断字段是否为“空”,即没有值,使用“is null”;判断不为空,即有值,使用“is not null”。 要注意的是,在Impala SQL中String类型的字段若是空字符串, 即长度为0,那么对它进行is null的判断结果是False。此时应该使用“col = '' ”来判断空字符串;使用“col != ''
限控制仅取决于Spark侧的元数据权限。 视图权限介绍 视图权限是指仅对表的视图具有查询、修改等操作的权限,不再依赖于视图所在的表的相应权限。即用户拥有视图的查询权限时,不管是否有表权限都可以进行查询。视图的权限是针对整个表而言的,不支持对其中的部分列创建视图权限。 视图权限在S
低于阈值后,告警自动清除。 该告警适用于MRS 3.1.0及之后版本集群。 告警属性 告警ID 告警级别 是否自动清除 12190 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名称
执行truncate table ${TableName},drop table ${TableName}时失败。 原因分析 删除文件操作是单线程串行执行的,Hive分区数过多导致在元数据数据库会保存大量元数据信息,在执行删表语句时删除元数据就要用很长时间,最终在超时时间内删除不完,就会导致操作失败。
第一次采集的数据中,第4列的数字是“rd_ios_old”,第8列的数字是“wr_ios_old”,第13列的数字是“tot_ticks_old”。 第二次采集的数据中,第4列的数字是“rd_ios_new”,第8列的数字是“wr_ios_new”,第13列的数字是“tot_ticks_new”。
指定当前租户的名称,可包含数字、字母或下划线(_)。 根据业务需求规划租户的名称,不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。 租户类型 指定租户是否是一个叶子租户。 部分版本该参数名为“租户资源类型”,具体以实际为准。 选择“叶子租户”:当前租户为叶子租户,不支持添加子租户。 选择“非叶子
e作为主NameNode的权利。 Colocation 同分布(Colocation)功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性是将那些需进行关联操作的文件存放在相同的数据节点上,在进行关联操作计算时,避免了到别的数据节点
Collection)而不能为其他Executor提供shuffle数据时,会影响任务运行。 External shuffle Service是长期存在于NodeManager进程中的一个辅助服务。通过该服务来抓取shuffle数据,减少了Executor的压力,在Executor
提示连接JDBCServer失败。 原因分析 问题1:使用spark-beeline命令连接JDBCServer,因为MRS_3.0以前的JDBCServer是HA模式,因此需要使用特定的URL和MRS Spark的自带的jar包来连接JDBCServer。 问题2:确认JDBCServer服务是否正常,查看对应的端口是否正常监测。
节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。 否,节点间网络互通,检查结束。 检查弹性伸缩是否关闭 登录华为云管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如
SELECT操作可以进行一定的调优操作。 查询的数据是大量的小文件。 查询的数据是较多的大文件。 在Beeline/JDBCServer模式下使用非Spark用户操作。 操作步骤 可对INSERT...SELECT操作做如下的调优操作。 如果建的是Hive表,将存储类型设为Parquet,从而减少执行INSERT
offpeak”配置项的值。 是,根据集群磁盘使用情况调大“hbase.hstore.compaction.throughput.offpeak”配置项的值,执行3。 否,结束。 观察HBase图表“P99 RegionServer的RPC请求响应时间-所有实例”的值是否持续上升: 是,执行4。 否,结束。
访问Storm的WebUI 操作场景 用户可以通过Storm的WebUI,在图形化界面使用Storm。 Storm的WebUI支持查看以下信息: Storm集群汇总信息 Nimbus汇总信息 拓扑汇总信息 Supervisor汇总信息 Nimbus配置信息 前提条件 获取用户“a
集群连接名称描述信息。 版本 选择集群版本。 是否安全版本 是,安全集群选择是。需要输入访问用户名和上传用户凭证; 否,非安全集群选择否。 访问用户名 访问用户需要包含访问集群中服务所需要的最小权限。 “是否安全版本”选择“是”时存在此参数。 客户端配置文件 集群客户端配置文件,格式为tar。
集群连接名称描述信息。 版本 选择集群版本。 是否安全版本 是,安全集群选择是。需要输入访问用户名和上传用户凭证; 否,非安全集群选择否。 访问用户名 访问用户需要包含访问集群中服务所需要的最小权限。 “是否安全版本”选择“是”时存在此参数。 客户端配置文件 集群客户端配置文件,格式为tar。
Sqoop迁移数据库数据报错 图2 源端为DWS时报错 问题分析 从上述两个报错分析,可能是驱动问题,服务端未正确加载JDBC驱动,或者是网络原因,由于Sqoop迁移数据过程,MapReduce任务是运行在分析core节点,因此需要保证正常加载驱动类的情况下,保证源端数据库和集群节点的网络正常通信。
使用Hive CBO功能优化多表查询效率 操作场景 在Hive中执行多表Join时,Hive支持开启CBO(Cost Based Optimization),系统会自动根据表的统计信息,例如数据量、文件数等,选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。