检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HetuEngine依赖Yarn服务提供的资源分配、控制等能力,需要根据实际业务和集群的服务器配置情况调整Yarn服务配置,以获得最佳的性能效果。 登录FusionInsight Manager页面。 选择“集群 > 服务 > Yarn > 配置 > 全部配置“,参考表1配置Yarn服务参数。
op_conf__/fairscheduler.xml spark.proxyserver.hash.enabled=true 配置描述 登录Manager,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索并修改以下参数。 表1 参数说明 参数 说明 默认值
根据自身业务对大数据组件包做修改,例如对Hadoop或Spark安装包做修改。 需要安装其他MRS还未支持的大数据组件。 对于上述定制化的场景,可以选择登录到每个节点上手动操作,之后每扩容一个新节点,再执行一次同样的操作,操作相对繁琐,也容易出错。同时手动执行记录不便追溯,不能实现“按需创建、创建成功后即处理数据”的目标。
ALM-45647告警全部恢复后,等待几分钟,检查本告警是否恢复。 是,处理完毕。 否,执行12。 收集故障信息 使用具有FlinkServer管理操作权限的用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > ALM-45642 RocksDB持续触发写限流”,检查
否,执行8。 在TaskManager日志检查是否Level0层SST文件数过多并收集日志 使用具有FlinkServer管理操作权限的用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > ALM-45644 RocksDB的Level0层SST
已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger WebUI界面。 在首页中单击“HDFS”区域的组件插件名称,例如“hacluster”。 单击“Add
kafka-test 安全模式下,在提交storm-examples-1.0.jar之前,请确保已经进行kerberos安全登录,并且keytab方式下,登录用户和所上传keytab所属用户必须是同一个用户。 安全模式下,kafka需要用户有相应Topic的访问权限,因此首先需要给用户赋权,再提交拓扑。
ALM-45647告警全部恢复后,等待几分钟,检查本告警是否恢复。 是,处理完毕。 否,执行12。 收集故障信息 使用具有当前Flink作业的管理操作权限的用户登录Manager。 选择“运维 > 告警 > 告警 > ALM-45648 RocksDB持续发生Write-Stopped”,检查该告警的
句柄数设置。如果某一个用户需对业务量很大的HDFS进行很频繁且很多的操作,则为此用户设置较大的句柄数,避免出现以上错误。 使用root用户登录集群所有节点机器或者客户端机器的操作系统,并进入“/etc/security”目录。 执行如下命令编辑“limits.conf”文件。 vi
veServer的IP地址。 配置Kerberos主机名和服务名。本例中“krb_host”参数值为“hadoop.实际域名”,实际域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信 > 本端域” 查看;主机名为hadoop,服务名为hive。
jre/lib/security. 原因分析 用户使用的JDK中的jar包与MRS服务认证的jar包版本不一致。 处理步骤 以root用户登录集群Master1节点。 执行如下命令,查看MRS服务认证的jar包。 ll /opt/share/local_policy/local_policy
service-2.7.0/security”目录下的“root-ca.crt”和“root-ca.pem”相同。 操作步骤 以omm用户登录到需要配置SSL的DBService节点上。 进入“$BIGDATA_HOME/FusionInsight_BASE_x.x.x/inst
中分区列数量添加相关自定义配置,以获得最佳的性能效果。 调整HetuEngine INSERT写入步骤 使用HetuEngine管理员用户登录FusionInsight Manager页面,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。 选择“配置
FE启动时匹配了错误的IP地址。 集群内多数Follower FE节点未启动,例如有3个Follower FE,只启动了一个。 处理步骤 登录FusionInsight Manager,选择“集群 > 服务 > Doris > 配置”。 搜索“priority_network”参
业务失败:如果运行的作业需要修改这个只读的设备分区上的数据,可能会导致作业运行失败。 业务延迟:如果有些组件需要给这个只读的设备分区上同步数据,可能会导致数据同步异常或者超时,导致业务延迟。 可能原因 硬盘存在坏道等故障。 处理步骤 打开FusionInsight Manager页面,选择“运维 > 告警 > 告警”,单击此告警所在行的。
Channel:基于预写式日志(Write-Ahead Logging,简称WAL)的持久化实现 JDBC Channel:基于嵌入Database的持久化实现 Channel支持事务特性,可保证简易的顺序操作,同时可以配合任意数量的Source和Sink共同工作。 Sink S
用1 GB磁盘,释放多余预约的空间。 该异常通常是因为业务写文件的并发量太高,预约写Block的磁盘空间不足,导致写文件失败。 解决办法 登录HDFS的WebUI页面,进入DataNode的JMX页面。 在HDFS原生界面,选择Datanodes页面。 找到对应的DataNode节点,单击Http
S、DBService要求状态正常,其他组件要求停止服务)。 是,执行7。 否,执行2。 恢复组件状态至要求状态,再一次启动该恢复任务。 登录MRS Manager管理界面,选择“告警管理”。在告警列表中单击该告警所在行,从“定位信息”处获得任务名。 选择“系统设置 > 恢复管理
Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 通信闪断,业务超时。 可能原因 告警阈值配置不合理。 网络环境异常。 处理步骤 检查阈值设置是否合理。 登录MRS Manager,查看该告警阈值是否合理(默认0.5%为合理值,用户可以根据自己的实际需求调节)。
RS集群客户端。 安装成功后,即可访问OBS。例如,在未开启Kerberos认证的MRS集群的HDFS客户端访问OBS: 以客户端安装用户登录安装客户端的节点。 切换到客户端安装目录并配置环境变量: cd 客户端安装目录 source bigdata_env 在HDFS客户端执行以下命令访问OBS: