检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是配置项“restart-strategy.fixed-delay.attempts”的值。 三种策略的具体信息请参考Flink官网:https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/task_failure_recovery
开源社区的Hive特性,请参见https://cwiki.apache.org/confluence/display/hive/designdocs。 常用概念 keytab文件 存放用户信息的密钥文件。应用程序采用此密钥文件在MRS产品中进行API方式认证。 客户端 客户端直接面向用户,可通过Java
hive_sync.jdbcurl 连接Hive JDBC指定的连接。 "" hoodie.datasource.hive_sync.use_jdbc 是否使用Hive JDBC方式连接Hive同步Hudi表信息。 建议该值设置为false,设置为false后JDBC连接相关配置无效。 true
修改MRS集群用户信息 管理员可以在Manager修改已创建的用户信息,包括修改用户组、主组、角色分配权限和描述。 修改用户信息(MRS 3.x及之后版本) 登录FusionInsight Manager。 选择“系统 > 权限 > 用户”。 在要修改信息的用户所在行,单击“修改”。 根据实际情况,修改对应参数。
principal="super@<系统域名>" useTicketCache=false debug=false; }; 配置描述 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.yarn.security
{replicationNum} topic中每个partition数据的副本数。 {Topic} topic名称。 示例:在Kafka的客户端路径下执行命令,此处以ZooKeeper集群的IP:port是10.96.101.32:2181,10.96.101.251:2181,10
NameNode内存使用率过高,会影响HDFS的数据读写性能。 可能原因 HDFS NameNode配置的内存不足。 处理步骤 清除无用文件。 在集群节点使用客户端,执行hdfs dfs -rm -r 文件或目录路径命令,确认删除无用的文件。 等待5分钟后,检查本告警是否恢复。 是,处理完毕。 否,执行2。
DataNode内存使用率过高,会影响到HDFS的数据读写性能。 可能原因 HDFS DataNode配置的内存不足。 处理步骤 清除无用文件。 在集群节点使用客户端,执行hdfs dfs -rm -r 文件或目录路径命令,确认删除无用的文件。 等待5分钟后,检查本告警是否恢复。 是,处理完毕。 否,执行2。
000个输入文件。在输入的文件数超出此限制时则会发生此错误。 解决办法 进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 如果集群详情页面没有“组件管理”
时延敏感型业务,可能会导致大量的业务读写请求超时。 可能原因 RegionServer GC时间过长。 HDFS RPC响应时间过长。 客户端请求不合理(大请求、高并发)。 处理步骤 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,查看“告警I
检查主备FlinkServer节点间链路是否正常。 通过“集群 > 服务 > Flink > 实例”查看FlinkServer两个实例的业务IP。 以root用户登录异常FlinkServer实例所在的服务器,用户密码为安装前用户自定义,请咨询系统管理员。 执行以下命令检查另一个FlinkServer实例的服务器是否可达。
管理权限的用户进行登录。 在HDFS WebUI的“Summary”区域,查看“DataNodes usages”中“Max”的值是否比“Median”的值大10%。 是,执行8。 否,执行11。 数据倾斜,需要均衡集群中的数据。以root用户登录MRS客户端,用户密码为安装前用
TezUI 否 Yarn ResourceManager 是 NodeManager Zookeeper Quorumpeer 是 安装滚动补丁 登录MRS管理控制台。 选择“现有集群”,选中一集群并单击集群名,进入集群基本信息页面。 进入“补丁管理”页面,在操作列表中单击“安装”。 进
se实例的WebUI,查看Region Servers上Region分布是否均衡。 以omm用户登录故障RegionServer节点。 进入客户端安装目录,设置环境变量。 cd 客户端安装目录 source bigdata_env 如果集群采用安全版本,要进行安全认证。执行kinit
出导致的,即物理内存溢出导致被NodeManager kill。 解决方案: 将ApplicationMaster的内存配置调大,在客户端“客户端安装路径/Yarn/config/mapred-site.xml”配置文件中优化如下参数: “yarn.app.mapreduce.am
Object [type=DATABASE, name=xxx]] 可能原因 CDL业务运行用户无权限在其他用户创建的数据库中创建表。 处理步骤 登录FusionInsight Manager,选择“系统 > 角色 > 添加角色”,填写角色名称,在“配置资源权限”表格中选择“待操作的集群名称
Impala对接外部LDAP 本操作适用于MRS 3.1.0及之后版本。 登录Manager。 在Manager界面,选择“集群 > 待操作集群的名称 > 服务 > Impala > 配置 > 全部配置 > Impalad(角色) > LDAP”。 配置如下参数的值。 表1 参数配置
应地调度执行查询。 本章节介绍如何开启自适应查询执行功能。 开启HetuEngine自适应查询执行步骤 使用HetuEngine管理员用户登录Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。 在“概览”页签下的“基本信息”区域,单击“HSConsole
{replicationNum} topic中每个partition数据的副本数。 {Topic} topic名称。 示例:在Kafka的客户端路径下执行命令,此处以ZooKeeper集群的IP:port是10.96.101.32:2181,10.96.101.251:2181,10
重启目的集群的HBase服务,使数据迁移生效。在启动过程中,HBase会加载当前HDFS上的数据并重新生成元数据。启动完成后,在Master节点客户端执行如下命令加载HBase表数据。 $HBase_Home/bin/hbase hbck -fixMeta -fixAssignments