检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS 2.0.1.1补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.0.1.1 发布时间 2019-09-30 解决的问题 MRS Manager 解决反复扩缩容导致MRS Master节点executor内存溢出问题 MRS大数据组件 MRS Presto新增
MRS 3.1.5补丁说明 MRS 3.1.5.0.3补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.1.5.0.3 发布时间 2023-11-27 安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 安装MRS 3.1.5.0.3补丁前,需要先安装MRS
MRS 2.1.1.1补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.1.1 发布时间 2023-07-28 新特性和优化 支持运维巡检 支持租户面直接对接CES 补丁兼容关系 MRS 2.1.1.1补丁包中包含MRS 2.1.1版本已发布的所有补丁内容。 安装补丁的影响
MRS集群反复上报43006告警 用户问题 集群反复出现“ALM-43006 JobHistory进程堆内存使用超出阈值”告警,且按照告警参考处理无效。 问题现象 集群出现告警“ALM-43006 JobHistory进程堆内存使用超出阈值”并且按照指导处理以后,运行一段时间又会出现同样的告警。
执行如下命令登录impala客户端。 impala-shell 默认情况下,impala-shell尝试连接到localhost的21000端口上的Impala守护程序。如需连接到其他主机,请使用-i <host:port>选项。要自动连接到特定的Impala数据库,请使用-d <data
y=2.0} (1 row) --命名后的字段,可以通过域操作符"."访问 select col1.b from row_tb; -- HetuEngine --命名和未命名的字段,都可以通过位置索引来访问,位置索引从1开始,且必须是一个常量 select col1[1] from
gc等问题。 所以为了在小内存模式下能加载较大日志文件,需要对大应用开启日志滚动功能。一般情况下,长时间运行的应用建议打开该功能。 配置参数 登录FusionInsight Manager系统,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。 参数
gc等问题。 所以为了在小内存模式下能加载较大日志文件,需要对大应用开启日志滚动功能。一般情况下,长时间运行的应用建议打开该功能。 配置参数 登录FusionInsight Manager系统,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。 参数
进程代码,再看日志。 问题:连接HDFS出现java.lang.IllegalArgumentException: Keytab is not a readable file: /opt/test/conf/user.keytab。 解决方法:添加Flume运行用户读写权限。 问题:执行
Scala样例代码 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表,然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.spark.examples
null;注:表tbl_src的id字段为Int类型,name字段为String类型。 多线程安全登录方式 如果有多线程进行login的操作,当应用程序第一次登录成功后,所有线程再次登录时应该使用relogin的方式。 login的代码样例: private Boolean login(Configuration
务长时间处于pending状态,执行2。 登录MRS Console页面,在现有集群中,选择集群名称,在“节点信息”页面,查看当前集群的节点规格。 提高nodemanager进程所持有的集群资源。 MRS Manager界面操作: 登录MRS Manager页面,选择“服务管理 >
以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,配置环境变量并认证用户。 cd 客户端安装目录 source bigdata_env kinit Hive业务用户(如果集群未开启Kerberos认证,请跳过该操作) 执行以下命令登录Hive客户端。
启用多实例功能后,为其他HBase服务实例进行应用程序开发时还需执行以下命令,切换指定服务实例的客户端。 例如HBase2:source /opt/client/HBase2/component_env。 将2中生成的Jar包和从准备HBase应用开发用户中获取的krb5.conf和user.ke
静态服务资源概述 静态服务资源简介 集群分配给各个服务的资源是静态服务资源,这些服务包括Flume、HBase、HDFS、IoTDB、Kafka(Kafka组件仅MRS 3.2.0及之后版本支持静态服务池)和Yarn。每个服务的计算资源总量固定,不与其他服务共享,是静态的。租户通
使用MRS客户端,MRS集群外客户端的安装操作可参考集群外节点使用MRS客户端。 登录FusionInsight Manager页面,下载集群客户端软件包至主管理节点并解压,然后以root用户登录主管理节点,进入集群客户端解压路径下,复制“FusionInsight_Cluste
EulerOS补丁说明 EulerOS_2.9.17补丁基本信息 表1 补丁基本信息 补丁号 EulerOS_2.9.17 发布时间 2024-04-15 升级后的版本 4.18.0-147.5.1.6.h1152.eulerosv2r9.x86_64 4.19.90-vhulk2103
集群互信管理 MRS集群互信概述 修改MRS集群系统域名 配置MRS集群间互信 配置互信MRS集群的用户权限 父主题: MRS集群安全配置
MRS 2.0.1.2补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.0.1.2 发布时间 2019-09-30 解决的问题 MRS 2.0.1.2 修复问题列表: MRS Manager 解决RM执行refreshNodes超时导致的偶现扩容失败问题 MRS 2
MRS 1.9.3.3补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.9.3.3 发布时间 2021-01-04 解决的问题 MRS 1.9.3.3 修复问题列表: MRS Manager 解决隔离节点问题 MRS大数据组件 解决Hive加载hook内存泄漏问题 MRS