检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 “hive/hadoop.<系统域名>”为用户名,用户的用户名所包含的系统域名所有字母为小写。 执行如下命令,启用Hive admin权限。 set role admin; 执行如下命令,删除永久函数。
select * from S3(path, [ak, sk,] format, structure, [compression]) path:访问域名/OBS文件路径,登录OBS管理控制台,在左侧导航栏单击“并行文件系统”,在“并行文件系统”页面单击对应的文件系统名称,在“文件”页面单击
keytab文件,“人机”用户第一次登录时需修改密码。(普通模式不涉及) 在修改集群域名后,需要重新下载客户端,以保证客户端配置文件中kerberos.domain.name配置为正确的服务端域名。 使用Kafka客户端 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。
用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 “hive/hadoop.<系统域名>”为用户名,用户的用户名所包含的系统域名所有字母为小写。 执行如下命令,启用Hive admin权限。 set role admin; 执行如下命令,删除永久函数。
auto.stop.cron.expression”表示任务自动停止的时间,默认值为空,表示不自动停止正在运行的Balancer任务。以“0 5 * * 6”为例,则表示在每周六的5点停止正在运行的Balancer任务。仅在启用自动执行Balance功能时有效。 修改此参数时,表达式介
进行该集群的操作,相关接口也无法调用,自动化监控或告警等运维也会停止。如果在保留期结束时您没有续费,集群将终止服务,系统中的数据也将被永久删除。 保证金 按需购买集群时,华为云根据用户等级和历史使用情况可能会冻结一定的保证金,资源释放时自动解冻保证金。更多信息,请参见保证金。
配置AM作业自动保留 配置场景 在YARN中,ApplicationMaster(AM)与Container类似,都运行在NodeManager(NM)上(本文中忽略未管理的AM)。AM可能由于多种原因崩溃、退出或关闭。如果AM停止运行,ResourceManager(RM)会关
在本地Windows环境中编包并运行Spark程序 操作场景 在程序代码完成开发后,您可以在Windows环境中运行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。 Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行,其他样例代码暂不提供。
配置AM作业自动保留 本章节适用于MRS 3.x及后续版本集群。 配置场景 在YARN中,ApplicationMaster(AM)与Container类似,都运行在NodeManager(NM)上(本文中忽略未管理的AM)。AM可能由于多种原因崩溃、退出或关闭。如果AM停止运行
配置跨集群互信时需要重启受影响的服务,会造成对应服务的业务中断。 配置跨集群互信后,互信的集群中均会增加Kerberos内部用户“krbtgt/本集群域名@外部集群域名”、“krbtgt/外部集群域名@本集群域名”,用户不能删除。 针对MRS 2.x及之前版本,密码默认为“Crossrealm@123”。
keytab文件。“人机”用户第一次登录时需修改密码。(普通模式不涉及) 在修改集群域名后,需要重新下载客户端,以保证客户端配置文件中kerberos.domain.name配置为正确的服务端域名。 使用Kafka客户端 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。
user.principal=spark/hadoop.<系统域名>@<系统域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark/hadoop.<系统域名>@<系统域名>;" 其中“<server_IP>:<server_Port
配置AM自动调整分配内存 配置场景 启动该配置的过程中,ApplicationMaster在创建container时,分配的内存会根据任务总数的浮动自动调整,资源利用更加灵活,提高了客户端应用运行的容错性。 配置描述 参数入口: 在Manager系统中,选择“集群 > 待操作集群的名称
收集ClickHouse系统表转储日志 本章节适用于MRS 3.3.0-LTS及之后版本。 操作场景 在日常使用ClickHouse时,如果出现一些异常故障,需要紧急重启恢复业务,在紧急重启之前,需要及时转储ClickHouse各系统表状态信息,用于问题定位,提升ClickHouse问题定位的效率。 针对不同的系
使用情况,当检测到HBase服务的znode容量使用率超出紧急告警的阈值(默认90%)时产生该告警。 当znode的容量使用率小于严重告警的阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 19014 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。
使用情况,当检测到HBase服务的znode数量使用率超出紧急告警的阈值(默认90%)时产生该告警。 当znode的数量使用率小于严重告警的阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 19016 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。
日志 > 下载”。 在“服务”中勾选待操作集群的“HBase”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息
义为“域”,不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用户跨域使用。集群配置互信具体操作步骤请参考集群互信管理章节。 多集群互信场景下,以符合跨域访问的用户身份,使用从其中一个manager系统中获取到的用于Kerberos安全认证的keytab文
义为“域”,不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用户跨域使用。集群配置互信具体操作步骤请参考集群互信管理章节。 多集群互信场景下,以符合跨域访问的用户身份,使用从其中一个manager系统中获取到的用于Kerberos安全认证的keytab文
配置AM自动调整分配内存 本章节适用于MRS 3.x及后续版本集群。 配置场景 启动该配置的过程中,ApplicationMaster在创建Container时,分配的内存会根据任务总数的浮动自动调整,资源利用更加灵活,提高了客户端应用运行的容错性。 配置描述 参数入口: 参考修