检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安全集群外的客户端访问HBase很慢 问题现象 用户创建了MRS安全集群,在集群外节点安装了集群客户端,并使用客户端命令hbase shell访问HBase,发现访问HBase非常慢。 原因分析 安全集群需要进行Kerberos认证,需要在客户端节点的hosts中配置信息,访问速度才不会受到影响。
ClickHouse数据库调优 ClickHouse调优思路 ClickHouse系统调优 ClickHouse SQL调优 ClickHouse参数调优实践 父主题: ClickHouse数据库设计规范
调测Kafka应用 调测Kafka Producer样例程序 调测Kafka Consumer样例程序 调测Kafka High level Streams样例程序 调测Kafka Low level Streams样例程序 调测Kafka Token认证机制样例程序 调测Kafka
HBase应用开发流程 本文档主要基于Java API对HBase进行应用开发。 开发流程中各阶段的说明如图1和表1所示。 图1 HBase应用程序开发流程 表1 HBase应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解HBase的基本概念,了解场景需求,设计表等。
分析。 HetuEngine基本概念 HSBroker:HetuEngine的服务代理,用作用户租户管理校验,HetuEngine访问URL的获取等。 Coordinator:HetuEngine服务的资源协调者,负责SQL解析和优化等事务。 Worker:负责执行任务和处理数据。
Hive主要应用于海量数据的离线分析(如日志分析,集群状态分析)、大规模的数据挖掘(用户行为分析,兴趣分区,区域展示)等场景下。 为保证Hive服务的高可用性、用户数据的安全及访问服务的可控制,在开源社区的Hive-3.1.0版本基础上,Hive新增如下特性: 数据文件加密机制。 开源社区的Hive特性,请参见https://cwiki
调测Kafka应用 调测Kafka Producer样例程序 调测Kafka Consumer样例程序 调测Kafka High Level KafkaStreams API样例程序 调测Kafka Low Level KafkaStreams API样例程序 父主题: Kafka开发指南(普通模式)
MRS应用开发开源jar包冲突列表说明 HBase HDFS Kafka Spark
调测HDFS应用 在本地Windows环境中调测HDFS程序 在Linux环境中调测HDFS应用 父主题: HDFS开发指南(安全模式)
Hive主要应用于海量数据的离线分析(如日志分析,集群状态分析)、大规模的数据挖掘(用户行为分析,兴趣分区,区域展示)等场景下。 为保证Hive服务的高可用性、用户数据的安全及访问服务的可控制,在开源社区的Hive-3.1.0版本基础上,Hive新增如下特性: 基于Kerberos技术的安全认证机制。 数据文件加密机制。
调测Hive应用 在本地Windows环境中调测Hive JDBC样例程序 在Linux环境中调测Hive JDBC样例程序 调测Hive HCatalog样例程序 调测Hive Python样例程序 调测Hive Python3样例程序 调测Hive SpringBoot样例程序
调测HBase应用 在本地Windows环境中调测HBase应用 在Linux环境中调测HBase应用 父主题: HBase开发指南(安全模式)
调测Doris应用 在本地Windows环境中调测Doris应用 在Linux环境中调测Doris应用 父主题: Doris开发指南(安全模式)
MRS是否支持同时运行多个Flume任务? Flume客户端可以包含多个独立的数据流,即在一个配置文件properties.properties中配置多个Source、Channel、Sink。这些组件可以链接以形成多个流。 例如在一个配置中配置两个数据流,示例如下: server
MRS集群内节点的操作系统是什么? 问: MRS集群内节点的操作系统是什么? 答: 不同版本的集群对应的主机操作系统不同,具体对应关系如表1所示。 表1 MRS集群版本与主机操作系统对应关系 MRS集群版本 x86计算 鲲鹏计算(ARM) MRS 3.2.0-LTS.1 EulerOS
在MRS集群客户端无法执行hbase shell命令 用户问题 在MRS集群客户端无法执行hbase shell命令。 原因分析 执行hbase shell命令前未配置环境变量。 当前MRS集群未安装HBase客户端。 处理步骤 使用root用户登录安装客户端的节点,切换到客户端
集群扩容之后新节点HRegionServer启动失败 问题现象 集群扩容完成之后,新节点的HRegionserver启动失败,一直处于异常状态,无法正常提供服务。 登录故障RegionServer所在节点,jps查看RegionServer进程没有启动,在Manager上手动重启故障的Region
Hive元数据使用RDS时创建视图表中文乱码 用户问题 MRS 3.1.0版本集群,Hive元数据配置为RDS数据库中存储。创建视图时,使用case when语句中文显示乱码。 例如建表语句如下: 查看视图内容中,中文乱码: 原因分析 该问题是由于元数据表相关字段编码不是UTF 8,导致中文显示异常。
储策略,如果不满足,则进行数据迁移,使目标目录或文件满足设定的存储策略。 本章节适用于MRS 3.x及后续版本。 配置描述 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 dfs.mover.auto.enable
Manager。 选择“集群 > 服务 > Ranger > 配置”。 选择“全部配置”。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 单击“保存”,在弹出窗口中单击“确定”使配置生效。 配置完成后立即生效,不需要重启服务。 日志格式 Ranger的日志格式如下所示: