检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
onServer和Master的信息、快照、运行进程等信息。通过Web UI提供的信息可以对整个HBase集群的状况有一定的了解。 请联系管理员获取具有访问Web UI权限的业务账号及其密码。 操作步骤 登录FusionInsight Manager页面。选择“集群 > 待操作集群的名称
能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine基本概念 HSBroker:HetuEngine的服务代理,用作用户租户管理校验,HetuEngine访问URL的获取等。 Coordinator:HetuEngine服务的资源协调者,负责SQL解析和优化等事务。
配置状态为配置失败。 问题现象 用户A在MRS节点后台上打开了Hive相关配置文件且未关闭,此时用户B在MRS Manager页面的“服务管理”中修改Hive配置项,保存配置并重启Hive服务,此时保存配置失败,并且Hive服务启动失败。 原因分析 由于用户B在MRS Manag
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 监控指标转储失败会影响上层管理系统无法获取到FusionInsight Manager系统的监控指标。 可能原因 无法连接服务器。 无法访问服务器上保存路径。 上传监控指标文件失败。
ommdba密码过期,Manager各节点互信不可用,无法对服务提供管理功能。 可能原因 该主机ommdba密码过期。 处理步骤 检查系统中ommdba密码是否过期。 以root用户登录集群故障节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行chage -l ommdba命令来查看当前ommdba用户密码设置信息。
UI查看当前消费情况。 本章节内容适用于MRS 3.x及后续版本。 前提条件 如果当前使用Kafka客户端,需要满足以下条件: MRS集群管理员已明确业务需求,并准备一个系统用户。 已安装Kafka客户端。 使用Kafka客户端查看当前消费情况 以客户端安装用户,登录安装Kafka客户端的节点。
台查看权限显示错误的问题。 解决使用ClickHouse管理员权限角色进行权限修改时,取消单个库的管理权限后,其他权限丢失的问题。 解决管理面1条慢查询在界面上报2条同样的查询信息的问题。 解决ALM-12054 证书文件失效告警误报的问题。 ClickHouse的nginx参数
"some-value") .getOrCreate() //读取数据。其是传入参数args(0)指定数据路径 val text = spark.sparkContext.textFile(args(0)) //筛选女性网民上网时间数据信息 val data = text.filter(_.contains("female"))
ClickHouse数据库设计 ClickHouse DataBase设计 ClickHouse表引擎适用场景说明 父主题: ClickHouse应用开发规范
etc/”目录,下载“hetuserver.jks”文件,并将该文件也放置于该目录下。 准备MRS应用开发用户时获取的keytab文件也放置于该目录下,主要配置文件说明如表4所示(根据需要获取所需文件)。 表4 配置文件 文件名称 作用 hdfs-site.xml 配置HDFS详细参数。
Manager页面,选择“服务管理 > 下载客户端”下载客户端安装包至主管理节点。 使用IP地址搜索主管理节点并使用VNC登录主管理节点。 在主管理节点,执行以下命令切换用户。 sudo su - omm 在MRS管理控制台,查看指定集群“节点管理”页面的“IP”地址。 记录需使用客户端的Core节点IP地址。
obs://并行文件系统名称/tmp/flinkjob/test -output obs://并行文件系统名称/tmp/flinkjob/output 由于Flink作业是On Yarn运行,在配置Flink对接OBS文件系统之前需要确保Yarn对接OBS文件系统功能是正常的。 父主题:
hell、HDFS、SSH、SubWorkflow、Streaming、定时任务等。 前提条件 已安装客户端,具体请参考安装客户端。例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。
例如客户端安装在主管理节点中,安装目录为“/opt/client”。 客户端安装完成后,在客户端内创建“lib”目录,用于放置相关jar包。 将安装客户端过程中解压的目录中Kafka相关jar包复制到“lib”目录。 例如客户端软件包的下载路径为主管理节点的“/tmp/Fus
提升HBase实时读数据效率 操作场景 需要读取HBase数据场景。 前提条件 调用HBase的get或scan接口,从HBase中实时读取数据。 操作步骤 读数据服务端调优 参数入口:登录FusionInsight Manager,选择“集群 > 服务 > HBase > 配置
创建ClickHouse数据库 本章节介绍创建ClickHouse数据库样例代码。 以下代码片段在com.huawei.clickhouse.examples包的“Demo”类的createDatabase方法中。 通过on cluster语句在集群中创建表1中以databaseName参数值为数据库名的数据库。
API读取HBase表数据 使用Scan API读取HBase表数据 使用Filter过滤器读取HBase表数据 删除HBase表数据 删除HBase二级索引 删除HBase表 创建Phoenix表 向Phoenix表中插入数据 读取Phoenix表数据 配置HBase应用输出日志 父主题:
创建ClickHouse数据库 本章节介绍创建ClickHouse数据库样例代码。 通过on cluster语句在集群中创建表1中以databaseName参数值为数据库名的数据库。 示例代片段参考如下: private void createDatabase(String databaseName
提升HBase实时读数据效率 操作场景 需要提升读取HBase数据性能的场景。 前提条件 调用HBase的get或scan接口,从HBase中实时读取数据。 操作步骤 读数据服务端调优 参数入口:登录FusionInsight Manager,选择“集群 > 服务 > 配置 >
调整Hudi数据源性能 本章节适用于MRS 3.3.1及以后版本。 HetuEngine具备高速访问Hive、Hudi等数据源的能力。对于Hudi数据源调优,可以分为对Hudi表本身和对集群环境的调优。 Hudi表调优 可参考如下建议优化表和数据设计: 建表时尽量按照频繁使用的过滤条件字段进行分区。