检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
QL诊断能力后,系统可实现如下能力: 自动感知并向集群管理员展现不同时间周期范围内的租户级、用户级的SQL任务统计,帮助集群管理员快速预判业务运行状态和潜在风险。 自动诊断出大SQL、慢SQL及相关提交信息,面向集群管理员多维度可视化呈现,同时提供大SQL、慢SQL的诊断与优化建议。
TCP临时端口使用率超过阈值 主机上业务无法发起对外建立连接,业务中断。 80.0% 网络读信息 读包错误率 12047 网络读包错误率超过阈值 通信闪断,业务超时。 0.5% 读包丢包率 12045 网络读包丢包率超过阈值 业务性能下降或者个别业务出现超时问题。 0.5% 读吞吐率
数中“-Xmx”的值为“UserSync使用的堆内存大小”的两倍(可根据实际业务场景进行修改)。 重启受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行6。 重启服务期间服务不可用,业务中断。重启实例期间实例不可用,当前实例节点任务会执行失败。 收集故障信息。 在FusionInsight
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务失败:主机文件句柄使用率超过阈值时,系统应用无法打开文件、网络等IO操作,程序异常,可能会导致作业运行失败。 可能原因 应用进程存在异常,如打开的文件或socket没有关闭。 文件句柄数不满足当前业务需求。 系统环境异常。 处理步骤 查看进程打开文件情况。
RS集群管理员需要在命令行中使用yarn rmadmin命令手动将其中一个ResourceManager切换为Active状态。当需要执行计划性维护或故障发生时,则需要先手动将Active状态的ResourceManager切换为Standby状态,再将另一个ResourceManager切换为Active状态。
中(如果使用的是Windows云服务器,并且与集群的网络是通的,直接填写节点的业务IP地址即可)。 图11 配置主机 单击“测试连接”,如图10 测试连接所示表示对接成功,单击“确定”。 图12 测试连接 以客户端安装用户登录安装HBase客户端的节点,执行以下命令创建新的命名空间MY_NS:
所有”,选择“Presto”并打开。参考图2新建连接。 图2 新建连接 参考下表配置连接参数。配置完成后单击“测试连接”,或在“模式”单击“点击连接数据库”测试数据连接,测试成功后单击“保存”。 表1 HSFabric连接参数 参数名 参数值 数据连接名称 自定义 驱动 io.prestosql
对系统的影响 RegionServer RPC响应时间的P99超过阈值,会影响RegionServer对外提供服务的能力。对于时延敏感型业务,可能会导致大量的业务读写请求超时。 可能原因 RegionServer GC时间过长。 HDFS RPC响应时间过长。 RegionServer并发数过高。
并支持与BI工具无缝对接。 FE 主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。 BE 主要负责存储数据、执行查询计划、副本负载均衡。 Leader Leader为Follower组中选举出来的一种角色。 Follower 一条元数据日志需要在多数Follower节点写入成功,才算成功。
EditLog不连续导致NameNode启动失败 问题 在JournalNode节点有断电,数据目录磁盘占满,网络异常时,会导致JournalNode上的EditLog不连续。此时如果重启NameNode,很可能会失败。 现象 重启NameNode会失败。在NameNode运行日志中会报如下的错误:
STANDALONE:连接实例运行在独立进程。 检查Hive JDBC连通性 是 是否需要测试Hive JDBC连通。 是否使用集群配置 否 您可以通过使用集群配置,简化Hadoop连接参数配置。 图3 创建MRS Hive连接 单击“测试”,测试连接通过。 单击“保存”。 创建CDM MRS Doris数据连接。
<k2,List(v2)> —> reduce —> <k3,v3>(output) 业务核心 应用程序通常只需要分别继承Mapper类和Reducer类,并重写其map和reduce方法来实现业务逻辑,它们组成作业的核心。 MapReduce WebUI界面 用于监控正在运行的或
称为冻结表。将被冻结的数据重新移回原元数据表,这一过程称为分区数据解冻。 一个分区从热分区变成冷分区,仅仅是在元数据中进行标识,其HDFS业务侧分区路径、数据文件内容并未发生变化。 本特性仅适用于MRS 3.1.2及之后版本。 冻结分区 支持创建表的用户按照条件过滤的方式对一个或多个分区进行冻结,格式为:freeze
在Windows中调测JDBC样例程序 在程序代码完成开发后,您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 如果Windows开发环境中使用IBM JDK,不支持在Windows环境中直接运行应用程序。 需要在运行样例代码的本
MapReduce统计样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本,基于某些业务要求,要求开发MapReduce应用程序实现如下功能: 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名,第二列为性别,第三列为本次停留时间,单位为分钟,分隔符为“
在本地Windows环境中调测IoTDB应用 操作场景 在程序代码完成开发后,您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 如果Windows开发环境中使用IBM JDK,不支持在Windows环境中直接运行应用程序。 需要在
在本地Windows环境中调测Doris应用 操作场景 在程序代码完成开发后,您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 如果Windows开发环境中使用IBM JDK,不支持在Windows环境中直接运行应用程序。 需要在
开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置,版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。
开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置,版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。
在Windows环境中调测Hive JDBC样例程序 在程序代码完成开发后,您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 如果Windows开发环境中使用IBM JDK,不支持在Windows环境中直接运行应用程序。 需要在运