正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kudu Kudu是专为Apache Hadoop平台开发的列式存储管理器,具有Hadoop生态系统应用程序的共同技术特性:在通用的商用硬件上运行,可水平扩展,提供高可用性。 Kudu的设计具有以下优点: 能够快速处理OLAP工作负载 支持与MapReduce,Spark和其他Hadoop生态系统组件集成
DBService组件启动失败,重启还是失败,实例状态一直为正在恢复状态。 图1 DBService 的状态 原因分析 查看DBService的日志/var/log/Bigdata/dbservice/DB/gs_ctl-current.log,报如下错误。 检查发现/tmp权限不正确,正确的权限应该为777。
Kudu应用开发简介 Kudu简介 Kudu是专为Apache Hadoop平台开发的列式存储管理器,具有Hadoop生态系统应用程序的共同技术特性:在通用的商用硬件上运行,可水平扩展,提供高可用性。 Kudu的设计具有以下优点: 能够快速处理OLAP工作负载。 支持与MapRe
Manager页面,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如
本章节内容适用于MRS 3.x及后续版本。 Flink从0.10.0版本开始提供了一套API可以将使用Storm API编写的业务平滑迁移到Flink平台上,只需要极少的改动即可完成。通过这项转换可以覆盖大部分的业务场景。 Flink支持两种方式的业务迁移: 完整迁移Storm业务:转换并运行完整的由Storm
Kudu应用开发简介 Kudu简介 Kudu是专为Apache Hadoop平台开发的列式存储管理器,具有Hadoop生态系统应用程序的共同技术特性:在通用的商用硬件上运行,可水平扩展,提供高可用性。 Kudu的设计具有以下优点: 能够快速处理OLAP工作负载。 支持与MapRe
Storm与其他组件的关系 Storm,提供实时的分布式计算框架,它可以从数据源(如Kafka、TCP连接等)中获得实时消息数据,在实时平台上完成高吞吐、低延迟的实时计算,并将结果输出到消息队列或者进行持久化。Storm与其他组件的关系如图1所示: 图1 组件关系图 Storm和Streaming的关系
HMaster堆内存使用率与直接内存使用率统计” ,单击“确定”,查看HBase服务进程使用的直接内存是否已达到HBase服务进程设定的最大直接内存的90%。 是,执行4。 否,执行8。 图1 HMaster堆内存使用率与直接内存使用率统计 在FusionInsight Manager首页,选择“集群
DBServer实例一直处于Restoring状态 问题背景与现象 DBServer实例状态一直是Restoring状态,重启之后仍然不恢复。 原因分析 DBService组件会对“${BIGDATA_HOME}/MRS_XXX/install/dbservice/ha/modu
开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题: MapReduce开发指南(安全模式)
开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题: MapReduce开发指南(安全模式)
CPU和内存”,勾选“HiveServer内存使用率统计” ,单击“确定”,查看HiveServer进程使用的直接内存是否已达到HiveServer进程设定的最大直接内存的阈值(默认95%)。 是,执行4。 否,执行7。 图1 勾选HiveServer内存使用率统计 在FusionInsight Manager首页,选择“集群
CPU和内存”,勾选“HiveServer内存使用率统计” ,单击“确定”,查看HiveServer进程使用的非堆内存是否已达到HiveServer进程设定的最大非堆内存的阈值(默认95%)。 是,执行4。 否,执行7。 图1 勾选HiveServer内存使用率统计 在FusionInsight Manager首页,选择“集群
技术支持 MRS服务是租户完全可控的半托管云服务,为用户提供一站式企业级大数据平台,用户可以在MRS集群上轻松运行Hadoop、Hive、Spark、HBase、Kafka、Flink等大数据组件,帮助企业快速构建海量数据信息处理系统,并通过对海量信息数据实时与非实时的分析挖掘,发现全新价值点和企业商机。
IoTDB基本原理 IoTDB(物联网数据库)是一体化收集、存储、管理与分析物联网时序数据的软件系统。 Apache IoTDB采用轻量式架构,具有高性能和丰富的功能。 IoTDB从存储上对时间序列进行排序,索引和chunk块存储,大大的提升时序数据的查询性能。通过Raft协议,
Consumer消费数据失败,Consumer一直处于等待状态 问题现象 使用MRS服务安装集群,主要安装ZooKeeper、Kafka。 在使用Consumer从Kafka消费数据时,发现客户端一直处于等待状态。 可能原因 Kafka服务异常。 客户端Consumer侧采用非安全访问,服务端配置禁止访问。
开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题: MapReduce开发指南(普通模式)
Avro格式查询异常 通过Spark-sql创建Hudi表或者Hive表,未插入数据前,查询表统计信息为空 建表语句分区列为timestamp时,使用非标准格式的时间指定分区查询表统计失败 SQL语法兼容TIMESTAMP/DATE特殊字符 父主题: 使用Spark/Spark2x
ImportTsv工具执行失败报“Permission denied”异常 问题 当使用与Region Server相同的Linux用户(例如omm用户)但不同的kerberos用户(例如admin用户)时,为什么ImportTsv工具执行失败报“Permission denied”的异常?
开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题: MapReduce开发指南(普通模式)