正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS 3.0.5.1补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.0.5.1 发布时间 2021-08-14 解决的问题 MRS 3.0.5.1 修复问题列表: MRS Manager 解决SQL语句过长导致作业管理界面提交SparkSQL作业失败的问题 解决带有注释的
YARN Command介绍 您可以使用YARN Commands对YARN集群进行一些操作,例如启动ResourceManager、提交应用程序、中止应用、查询节点状态、下载container日志等操作。 完整和详细的Command描述可以参考官网文档: http://hadoop.apache.org
YARN Command介绍 您可以使用YARN Commands对YARN集群进行一些操作,例如启动ResourceManager、提交应用程序、中止应用、查询节点状态、下载container日志等操作。 完整和详细的Command描述可以参考官网文档:http://hadoop.apache.org
YARN Command介绍 您可以使用YARN Commands对YARN集群进行一些操作,例如启动ResourceManager、提交应用程序、中止应用、查询节点状态、下载container日志等操作。 完整和详细的Command描述可以参考官网文档:http://hadoop.apache.org
使用多级agent串联从本地采集静态日志保存到HDFS 该任务指导用户使用Flume从本地采集静态日志保存到HDFS上如下目录“/flume/test”。 前提条件 已成功安装集群、HDFS及Flume服务、Flume客户端。 已创建用户flume_hdfs并授权验证日志时操作的HDFS
Presto的coordinator进程无法正常启动 用户问题 Presto的coordinator未知原因被终止,或者Presto的coordinator进程无法正常启动。 问题现象 Presto的coordinator无法正常启动,Manager页面上显示presto coordinator
MRS集群如何使用公网访问Presto 用户问题 用户调测Presto JDBC样例代码,需要使用公网访问Presto。 问题分析 登录MRS Manager上查看Presto全部配置,Coordinator角色配置: PRESTO_COORDINATOR_FLOAT_IP = 内网
配置MRS集群告警屏蔽状态 如果如下特定场景中不希望看到FusionInsight Manager上报指定的告警,可以手动设置屏蔽。 使用过程中,不想关注某些不重要的告警,屏蔽次要告警。 第三方产品集成MRS集群时,部分告警与产品自身的告警信息重复,屏蔽重复告警。 部署环境特殊时,
MRS 2.0.1.3补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.0.1.3 发布时间 2019-12-25 解决的问题 MRS 2.0.1.3 修复问题列表: MRS Manager 优化扩缩容逻辑,解决V1作业管理接口tcp连接残留问题 MRS大数据组件 MRS
Spark Streaming对接Kafka0-10样例程序(Scala) 功能介绍 在Spark应用中,通过使用Streaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,或将数据写入Kafka0-10。 Streaming读取Kafka0-10
Spark Streaming对接Kafka0-10样例程序(Scala) 功能介绍 在Spark应用中,通过使用Streaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,或将数据写入Kafka0-10。 Streaming读取Kafka0-10
Hive Join数据优化 操作场景 使用Join语句时,如果数据量大,可能造成命令执行速度和查询速度慢,此时可进行Join优化。 Join优化可分为以下方式: Map Join Sort Merge Bucket Map Join Join顺序优化 Map Join Hive的Map
配置Spark Native引擎 本章节仅适用于MRS 3.3.0及之后版本。 配置场景 Spark Native引擎是通过使用向量化的C++加速库,实现对Spark算子性能加速的一种技术方案。传统的SparkSQL是基于行式数据,通过JVM的codegen来实现查询加速的,由于JVM
Consumer消费数据失败,Consumer一直处于等待状态 问题现象 使用MRS服务安装集群,主要安装ZooKeeper、Kafka。 在使用Consumer从Kafka消费数据时,发现客户端一直处于等待状态。 可能原因 Kafka服务异常。 客户端Consumer侧采用非安全访问
SparkStreaming消费Kafka消息失败,提示“Error getting partition metadata” 问题现象 使用SparkStreaming来消费Kafka中指定Topic的消息时,发现无法从Kafka中获取到数据。提示如下错误: Error getting
YARN Command介绍 您可以使用YARN Commands对YARN集群进行一些操作,例如启动ResourceManager、提交应用程序、中止应用、查询节点状态、下载container日志等操作。 完整和详细的Command描述可以参考官网文档: http://hadoop.apache.org
Doris基本原理 Doris简介 Doris是一个基于MPP架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。基于此,Apache Doris能够较好的满足报表分析
Producer发送数据失败,报错“TOPIC_AUTHORIZATION_FAILED” 问题现象 使用MRS安装集群,主要安装ZooKeeper、Kafka。 在使用Producer向Kafka发送数据功能时,发现客户端报错:TOPIC_AUTHORIZATION_FAILED
添加Impala的Ranger访问权限策略 本章节仅适用于MRS 3.1.5及之后版本。 操作场景 在创建完安装了Ranger组件的MRS集群后,Hive/Impala的权限控制集成在Ranger中,由于Impala复用Hive的权限策略,本章节主要介绍Hive组件如何集成在Ranger
在本地Windows环境中调测Oozie应用 操作场景 在使用Java接口完成开发程序代码后,您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 操作步骤 在Windows本地运行程序,需要配置HTTPS SSL证书。 登录集群任意节点