检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群客户端配置文件获取方法: 登录FusionInsight Manager,选择“集群 > 概览”。 选择“更多 > 下载客户端 > 仅配置文件”,选择平台类型后单击“确定”。 用户凭据获取方法: 登录FusionInsight Manager,单击“系统”。 在对应用户的“操作”列,选择“更多
集群客户端配置文件获取方法: 登录FusionInsight Manager,选择“集群 > 概览”。 选择“更多 > 下载客户端 > 仅配置文件”,选择平台类型后单击“确定”。 用户凭据获取方法: 登录FusionInsight Manager,单击“系统”。 在对应用户的“操作”列,选择“更多
当运行任务时,将MR ApplicationMaster或ResourceManager移动为D状态,为什么此时客户端会不可用? 回答 当运行任务时,将MR ApplicationMaster或ResourceManager移动为D状态(不间断睡眠状态)或T状态(停止状态),客户端会等待返回任务运
当运行任务时,将MR ApplicationMaster或ResourceManager移动为D状态,为什么此时客户端会不可用? 回答 当运行任务时,将MR ApplicationMaster或ResourceManager移动为D状态(不间断睡眠状态)或T状态(停止状态),客户端会等待返回任务运
如何基于MRS-Hudi实现拉链表 MRS HDFS细粒度锁优化实践 ClickHouse存算分离在华为云实践 MRS HBase MTTR优化实践 二次开发类 通过API-Explorer优化MRS服务API开发流程 使用华为SDK开发MRS API应用初实践 Kerberos认证集群Flink读写HBase
WebUI页面打不开。 原因分析 端口未对外开放。 浮动IP配置错误。 一次性查询大量的数据,导致查询耗时长,占用了Hue中Hive的链接,导致Hue访问出现异常。 排查思路 在浏览器所在的本地机器,通过命令行执行telnet指令,查看端口是否开放。 在Hue所在节点执行ifconfig,查看配置的浮动IP是否生效。
SQL查询。除了使用相同的统一存储平台之外,Impala还使用与Apache Hive相同的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界面(Hue中的Impala查询UI)。这为实时或面向批处理的查询提供了一个熟悉且统一的平台。作为查询大数据的工具补充,Imp
只需对外开放HSFabric固定的IP,端口 支持范围:MRS 3.1.3及之后版本 HSBroker 是 否 否 确保业务侧和HetuEngine服务端HSBroker、Coordinator(随机分布在Yarn NodeManger)所在业务节点网络互通 需对外开放Coordinator的IP,端口
配置Hive分区元数据冷热存储 分区元数据冷热存储介绍 为了减轻元数据库压力,将长时间未使用过的指定范围的分区相关元数据移动到备份表,这一过程称为分区数据冻结,移动的分区数据称为冷分区,未冻结的分区称为热分区,存在冷分区的表称为冻结表。将被冻结的数据重新移回原元数据表,这一过程称为分区数据解冻。
从零开始使用Kudu Kudu是专为Apache Hadoop平台开发的列式存储管理器。Kudu具有Hadoop生态系统应用程序的共同技术特性:可水平扩展,并支持高可用性操作。 前提条件 已安装集群客户端,例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。
从零开始使用Kudu Kudu是专为Apache Hadoop平台开发的列式存储管理器。Kudu具有Hadoop生态系统应用程序的共同技术特性:可水平扩展,并支持高可用性操作。 前提条件 已安装集群客户端,例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。
只需对外开放HSFabric固定的IP,端口 支持范围:MRS 3.1.3及之后版本 HSBroker 是 否 否 确保业务侧和HetuServer服务端HSBroker、Coordinator(随机分布在Yarn NodeManger)所在业务节点网络互通 需对外开放Coordinator的IP,端口
EXISTS ] table_name 描述 删除存在的表。 可选参数IF EXISTS指定时,如果删除的表不存在,则不会报错。 被删除的数据行将被移动到HDFS的回收站。 示例 create table testfordrop(name varchar); drop table if exists
Kudu Kudu是专为Apache Hadoop平台开发的列式存储管理器,具有Hadoop生态系统应用程序的共同技术特性:在通用的商用硬件上运行,可水平扩展,提供高可用性。 Kudu的设计具有以下优点: 能够快速处理OLAP工作负载 支持与MapReduce,Spark和其他Hadoop生态系统组件集成
out日志。打开该日志可以看到如下字段信息: Time Stamp:时间戳 Bytes Already Moved:已经移动的字节数 Bytes Left To Move:待移动的字节数 Bytes Being Moved:正在移动的字节数 日志出现“Balancing took xxx seconds”信息表示均衡操作已完成。
SQL查询。除了使用相同的统一存储平台之外,Impala还使用与Apache Hive相同的元数据、SQL语法(Hive SQL)、ODBC驱动程序和用户界面(Hue中的Impala查询UI)。这为实时或面向批处理的查询提供了一个熟悉且统一的平台。作为查询大数据的工具补充,Imp
SQL查询。除了使用相同的统一存储平台之外,Impala还使用与Apache Hive相同的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界面(Hue中的Impala查询UI)。这为实时或面向批处理的查询提供了一个熟悉且统一的平台。作为查询大数据的工具补充,Imp
使用永洪BI访问MRS HetuEngine 应用场景 永洪BI是一款一站式大数据BI平台,全面覆盖数据分析过程中的各个环节,轻松完成全流程数据分析任务,包括数据采集、清洗、整合、存储、计算、建模、训练、展现、协作等,极大降低了实施、集成、培训的成本。 本章节以Yonghong Desktop
集群创建类 如何使用自定义安全组创建MRS集群? 购买MRS集群时找不到HDFS、Yarn、MapReduce组件如何处理? 购买MRS集群时,找不到ZooKeeper组件如何处理? 购买MRS集群提交订单时报无效认证如何处理?
Storm与其他组件的关系 Storm,提供实时的分布式计算框架,它可以从数据源(如Kafka、TCP连接等)中获得实时消息数据,在实时平台上完成高吞吐、低延迟的实时计算,并将结果输出到消息队列或者进行持久化。Storm与其他组件的关系如图1所示: 图1 组件关系图 Storm和Streaming的关系