检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录Manager页面,请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 选择“服务 > Impala > 实例”。 移动鼠标至“角色”列Impalad实例上,在浏览器底部会显示Impalad实例的ID,并记录该ID。 图2 Impalad实例ID 访问StateStore
Manager页面,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“完整客户端”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如
Sink需要用户根据自己开发的代码来进行配置,下述常用配置不再展示。 常用Source配置 Avro Source Avro Source监测Avro端口,接收外部Avro客户端数据并放入配置的Channel中。常用配置如下表所示: 表7 Avro Source常用配置 参数 默认值 描述 channels
流程等操作。 SDK 软件开发工具包SDK(SoftwareDevelopmentKit)是被软件工程师用于为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件的开发工具的集合。 Database pg数据库。 WebApp(Oozie) WebApp(Oozie)即Oozie
添加待移入的Partition行到文件末尾(行结构为“Topic名称 Partition标识 Offset”,直接复制5中保存的行数据即可)。 移动数据,将待移动的Partition文件夹移动到目的目录下,移动完成后执行chown omm:wheel -R Partition目录命令修改Partition目录属组。 登录FusionInsight
产生告警的主机名。 对系统的影响 告警长期存在时,会导致Manager频繁主备倒换,用户无法正常登录FusionInsight Manager平台,无法进行正常运维操作。 controller进程持续重启,可能引起无法访问服务原生UI界面。 可能原因 controller进程异常。 处理步骤
产生告警的主机名 对系统的影响 告警长期存在时,会导致Manager频繁主备倒换,用户无法正常登录FusionInsight Manager平台,无法进行正常运维操作。 pms进程持续重启,导致告警上报时间段监控数据采集异常,严重时可导致告警上报时间段监控数据丢失。 可能原因 pms进程异常。
Manager页面,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“完整客户端”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如
Manager页面,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“完整客户端”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如
报错中type为12时:数据库的pg_hba.conf文件配置有误。 解决方案: 报错中type为5时:在每台MRS NodeManager实例所在节点上移动驱动包“gsjdbc4-*.jar”到“tmp”目录下。 mv ${BIGDATA_HOME}/FusionInsight_HD_*/1_
MRS集群管理概述 MRS管理平台概述 用户可以在集群创建完成后,通过MRS管理控制台或MRS集群Manager查看集群基本信息并对集群进行管理和运维。 MRS管理控制台:用户可以通过MRS管理控制台的集群管理页面,进行集群概览查看、节点管理、组件管理、告警管理、文件管理、作业管理等操作。
产生告警的主机名。 对系统的影响 告警长期存在时,会导致Manager频繁主备倒换,用户无法正常登录FusionInsight Manager平台,无法进行正常运维操作。 floatip进程持续重启,可能引起无法访问服务原生UI界面。 可能原因 浮动IP地址异常。 处理步骤 检查主管理节点的浮动IP地址状态。
添加待移入的Partition行到文件末尾(行结构为“Topic名称 Partition标识 Offset”,直接复制5中保存的行数据即可)。 移动数据,将待移动的Partition文件夹移动到目的目录下,移动完成后执行chown omm:wheel -R Partition目录命令修改Partition目录属组。 登录FusionInsight
报错中type为12时:数据库的pg_hba.conf文件配置有误。 解决方案: 报错中type为5时:在每台MRS NodeManager实例所在节点上移动驱动包gsjdbc4-*.jar到tmp目录下。 mv /opt/Bigdata/FusionInsight_HD_*/1_*_NodeM
产生告警的主机名。 对系统的影响 告警长期存在时,会导致Manager频繁主备倒换,用户无法正常登录FusionInsight Manager平台,无法进行正常运维操作。 cep进程持续重启,导致告警上报时间段监控数据采集异常,严重时可导致告警上报时间段监控数据丢失。 可能原因 cep进程异常。
产生告警的主机名。 对系统的影响 告警长期存在时,会导致Manager频繁主备倒换,用户无法正常登录FusionInsight Manager平台,无法进行正常运维操作。 fms进程持续重启,导致告警上报时间段告警数据上报异常,严重时可导致告警上报时间段告警数据上报和恢复失败。 可能原因
Thread.run(Thread.java:748) 回答 上述问题可能是因为网络内存枯竭而导致的。 问题的解决方案是根据实际场景适当增大网络设备的阈值级别。 例如: [root@xxxxx ~]# cat /proc/sys/net/ipv4/neigh/default/gc_thresh*
的数据分区范围较大,压缩效率较低。 内存调优 CarbonData为内存调优提供了一个机制,其中数据加载会依赖于查询中需要的列。不论何时,接收到一个查询命令,将会获取到该查询中的列,并确保内存中这些列有数据加载。在该操作期间,如果达到内存的阈值,为了给查询需要的列提供内存空间,最少使用加载级别的文件将会被删除。
Streaming计算,stopSparkContext用于判断是否需要终止相关的SparkContext,StopGracefully用于判断是否需要等待所有接收到的数据处理完成。 UpdateStateByKey(func) 更新DStream的状态。使用此方法,需要定义State和状态更新函数。
Streaming计算,stopSparkContext用于判断是否需要终止相关的SparkContext,StopGracefully用于判断是否需要等待所有接收到的数据处理完成。 UpdateStateByKey(func) 更新DStream的状态。使用此方法,需要定义State和状态更新函数。