检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-45008 HetuEngine计算实例查询时延超过阈值 本章节适用于MRS 3.5.0及以后版本。 告警解释 系统每30秒周期性检测HetuEngine计算实例的查询时延,当检测到HetuEngine计算实例的查询时延大于等于60S时产生该告警。 HetuEngine计
否,执行11。 收集故障信息。 在FusionInsight Manager首页,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的如下节点信息。 ZooKeeper HDFS 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
配置积压告警规则 操作场景 通过KafkaUI可查看并配置需要上报积压告警的规则,当达到配置的积压告警规则要求时,会上报“ALM-38018 Kafka消息积压”告警。 本章节内容仅适用于MRS 3.5.0及之后版本。 配置积压告警规则 进入KafkaUI界面。 使用具有Kafk
提升HDFS写数据性能 操作场景 在HDFS中,通过调整属性的值,使得HDFS集群更适应自身的业务情况,从而提升HDFS的写性能。 本章节适用于MRS 3.x及后续版本。 操作步骤 参数入口: 在FusionInsight Manager系统中,选择“集群 > 服务 > HDFS
手动指定运行Yarn任务的用户 配置场景 目前YARN支持启动NodeManager的用户运行所有用户提交的任务,也支持以提交任务的用户运行任务。 配置描述 在Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”,选择“全部配置”。在搜索框中输入参数名称。
NAME:需要冷热分离的列族。 COLD_BOUNDARY:冷热分离时间点,单位为秒(s)。例如COLD_BOUNDARY值为86400,表示86400秒(一天)前写入的数据会被自动归档到冷存储。 冷热分离时间点需大于Major Compaction执行周期,Major Compaction默认执行周期为7天。
提升HBase实时读数据效率 操作场景 需要提升读取HBase数据性能的场景。 前提条件 调用HBase的get或scan接口,从HBase中实时读取数据。 操作步骤 读数据服务端调优 参数入口:登录FusionInsight Manager,选择“集群 > 服务 > 配置 >
定义访问时间的条件。 对于手动迁移规则,不需要条件。 行为列表: 将存储策略设置为给定的数据层名称 迁移到其他文件夹 为文件设置新的副本数 删除文件 设置节点标签(NodeLabel) 表2 行为类型 行为类型 描述 所需参数 MARK 为确定数据的冷热度并设置相应的数据存储策略。 <param>
使用Flume服务端从本地采集静态日志保存到HDFS 该任务指导用户使用Flume服务端从本地采集静态日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参考配置Flume加密传输数据采集任
离集群配置后,即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env source 客户端安装目录/Hudi/component_env
L语句中count distinct出现次数超过2就进行“提示”的规则。 图1 添加Hive SQL防御规则 登录安装有Hive客户端的节点,执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令,配置环境变量。 source bigdata_env
接OBS后,即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source 客户端安装目录/bigdata_env 配置好Flink客户端,具体配置参考从零开始使用Flink的步骤1至步骤4。
开启Succinct Trie特性 操作场景 Succinct Trie特性优化了HFile Block结构,开启后可以减少缓存空间的使用,降低缓存数据驱逐率,提升缓存命中率,适用于频繁读取数据的场景,优化了数据读取性能。 本章节内容仅适用于MRS 3.3.1及之后版本。 开启Succinct
提升HDFS写数据性能 操作场景 在HDFS中,通过调整属性的值,使得HDFS集群更适应自身的业务情况,从而提升HDFS的写性能。 本章节适用于MRS 3.x及后续版本。 操作步骤 参数入口: 在FusionInsight Manager系统中,选择“集群 > 服务 > HDFS
使用FlinkSQL Client提交作业 安装集群客户端,例如安装目录为“/opt/hadoopclient”。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行如下命令初始化环境变量。 source /opt/h
python-examples -R。 在“python-examples/pyCLI_sec.py”中的hosts数组中填写安装HiveServer的节点的业务平面IP地址。HiveServer业务平面IP地址可登录FusionInsight Manager,选择“集群 > 服务 > Hive
态。 处理步骤 查看D状态进程。 打开MRS集群详情页面,在告警列表中,单击此告警所在行,在告警详情中,查看该告警的主机地址。 登录告警节点。 执行以下命令切换用户: sudo su - root su - omm 执行如下命令查看omm用户D状态进程号。 ps -elf | grep
该连接信息就会JDBC连接异常。 处理步骤 检查ZooKeeper下面是否有目标目录和注册的信息 以root用户登录任意一个Master节点并初始化环境变量。 source /opt/client/bigdata_env 执行zkCli.sh -server 'ZooKeeper
单击“下载”,实时转储的系统表会被保存在本地。 收集一键转储系统表日志 使用root用户后台登录任一ClickHouseServer节点,进入到sbin目录下。 cd ${BIGDATA_HOME}/FusionInsight_ClickHouse_*/*_*_ClickHo
HostName”字段值,获取该告警产生的主机名,查看定位信息中对应的“PathName”字段值,获取异常的文件路径或者名称。 登录告警节点。 执行ll pathName命令,其中pathName为前面获取到的异常文件,获取到该文件或者目录在主机上的当前的用户、权限、用户组等信息。