检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备Spark本地应用开发环境 Spark2x可以使用Java/Scala/Python语言进行应用开发,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。
Spark JDBCServer接口介绍 简介 JDBCServer是Hive中的HiveServer2的另外一个实现,它底层使用了Spark SQL来处理SQL语句,从而比Hive拥有更高的性能。 JDBCServer是一个JDBC接口,用户可以通过JDBC连接JDBCServ
Spark ThriftServer接口介绍 简介 ThriftServer是Hive中的HiveServer2的另外一个实现,它底层使用了Spark SQL来处理SQL语句,从而比Hive拥有更高的性能。 ThriftServer是一个JDBC接口,用户可以通过JDBC连接Th
MRS集群版本说明 MRS集群版本类型 MRS集群版本类型分为普通版与LTS版本,不同版本集群所包含的组件内容及特性略有不同,用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等,具体可以查看用户指南。 组件介绍 除共有组件外,普通版集群
版本概述 MRS集群版本类型 MRS集群版本类型分为普通版与LTS版本,不同版本集群所包含的组件内容及特性略有不同,用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等,具体可以查看用户指南。 组件介绍 除共有组件外,普通版集群还支持Pr
更换CA证书 操作场景 MRS CA证书用于组件客户端与服务端在通信过程中加密数据,实现安全通信。该任务指导集群用户通过FusionInsight Manager完成CA证书替换工作,以确保产品安全使用。适用于以下场景: 首次安装好集群以后,需要更换企业证书。 企业证书有效时间已过期或安全性加强,需要更换为新的证书。
procId: 64 completed 在Linux中调测Phoenix样例 在linux环境中调测Phoenix样例,需有与集群环境网络相通的ECS,详情请参见准备本地应用开发环境。 修改样例。将样例代码TestMain中“enablePhoenix”值改为“true”,开启调用Phoenix样例程序接口。
Kudu Kudu是专为Apache Hadoop平台开发的列式存储管理器,具有Hadoop生态系统应用程序的共同技术特性:在通用的商用硬件上运行,可水平扩展,提供高可用性。 Kudu的设计具有以下优点: 能够快速处理OLAP工作负载 支持与MapReduce,Spark和其他Hadoop生态系统组件集成
快速使用IoTDB IoTDB是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点,支持对接Hadoop与Spark生态,适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。 背景信息 假定某某集团旗下有3个生产线,每个生产线
使用Loader从HDFS导出数据到ClickHouse 本章节适用于MRS 3.3.0及以后版本。 操作场景 该任务指导用户使用Loader将文件从HDFS导出到ClickHouse。 前提条件 在FusionInsight Manager创建一个角色,添加ClickHouse
准备Spark本地应用开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
Kudu应用开发简介 Kudu简介 Kudu是专为Apache Hadoop平台开发的列式存储管理器,具有Hadoop生态系统应用程序的共同技术特性:在通用的商用硬件上运行,可水平扩展,提供高可用性。 Kudu的设计具有以下优点: 能够快速处理OLAP工作负载。 支持与MapRe
补丁基本信息说明 表1 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.9 发布时间 2024-06-30 解决的问题 MRS 3.2.0-LTS.1.9修复问题列表: 解决HetuEngine查询gauss date字段报错的问题。 解决HetuEngine计算实例在Yarn上启动失败的问题。
Flume业务模型配置说明 业务模型配置指导 本任务旨在提供Flume常用模块的性能差异,用于指导用户进行合理的Flume业务配置,避免出现前端Source和后端Sink性能不匹配进而导致整体业务性能不达标的场景。 本任务只针对于单通道的场景进行比较说明。 Flume业务配置及模
FE服务故障如何恢复 问题现象 FE可能因为某些原因出现无法启动bdbje、FE之间无法同步等问题,无法进行元数据写操作、没有MASTER等。需要手动操作来恢复FE,手动恢复FE先通过当前“meta_dir”中的元数据,启动一个新的MASTER,然后再逐一添加其他FE。 操作步骤
使用CDM服务迁移Hadoop数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hadoop集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能
访问Storm的WebUI 操作场景 用户可以通过Storm的WebUI,在图形化界面使用Storm。 Storm的WebUI支持查看以下信息: Storm集群汇总信息 Nimbus汇总信息 拓扑汇总信息 Supervisor汇总信息 Nimbus配置信息 前提条件 获取用户“a
Kudu应用开发简介 Kudu简介 Kudu是专为Apache Hadoop平台开发的列式存储管理器,具有Hadoop生态系统应用程序的共同技术特性:在通用的商用硬件上运行,可水平扩展,提供高可用性。 Kudu的设计具有以下优点: 能够快速处理OLAP工作负载。 支持与MapRe
Spark JDBCServer接口介绍 简介 JDBCServer是Hive中的HiveServer2的另外一个实现,它底层使用了Spark SQL来处理SQL语句,从而比Hive拥有更高的性能。 JDBCServer是一个JDBC接口,用户可以通过JDBC连接JDBCServ
使用Hive CBO功能优化多表查询效率 操作场景 在Hive中执行多表Join时,Hive支持开启CBO(Cost Based Optimization),系统会自动根据表的统计信息,例如数据量、文件数等,选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。