检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Linux环境中编包并运行Spark程序 操作场景 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。
在Linux环境中编包并运行Spark程序 操作场景 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。
查看Kafka数据生产消费详情 操作场景 用户可以通过KafkaUI查看Topic详情、修改Topic Configs、增加Topic分区个数、删除Topic，并可实时查看不同时段的生产数据条数。 安全模式下，KafkaUI对查看Topic详情操作不作鉴权处理，即任何用户都可以查询Topic信息；对于修改Topic
提升HBase Put和Scan数据性能 操作场景 HBase有很多与读写性能相关的配置参数。读写请求负载不同的情况下，配置参数需要进行相应的调整，本章节旨在指导用户通过修改RegionServer配置参数进行读写性能调优。 操作步骤 登录FusionInsight Manager界面，选择“集群
ALM-38011 Broker上用户连接数使用率超过设定阈值 告警解释 系统每30秒周期性检测Broker上每个用户的连接数情况，当连续5次检测到Broker上某个用户的连接数使用占比超过阈值（默认80%）时产生该告警。 平滑次数为5，当Broker上某个用户的连接数使用占比低于阈值时，告警恢复。
查看Kafka数据生产消费详情 操作场景 用户可以通过KafkaUI查看Topic详情、修改Topic Configs、增加Topic分区个数、删除Topic，并可实时查看不同时段的生产数据条数。 安全模式下，KafkaUI对查看Topic详情操作不作鉴权处理，即任何用户都可以查询Topic信息；对于修改Topic
创建Yarn角色 操作场景 该任务指导MRS集群管理员创建并设置Yarn的角色。Yarn角色可设置Yarn管理员权限以及Yarn队列资源管理。 如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关策略进行权限管理。具体操作可参考添加Yarn的Ranger访问权限策略。
ALM-18020 Yarn任务执行超时 告警解释 系统每15分钟周期性检测提交到Yarn上的Mapreduce和Spark应用任务（JDBC常驻任务除外），当检测到任务执行时间超过用户指定的超时时间时，产生该告警，但任务仍继续正常执行。其中，Mapreduce的客户端超时参数为“mapreduce
LakeFormation概述 LakeFormation是企业级一站式湖仓构建服务，提供元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持无缝对接多种计算引擎及大数据云服务，使客户便捷高效地构建数据湖和运营相关业务，加速释放业务数据价值。
句中count distinct出现次数超过2就进行“提示”的规则。 图1 添加Spark SQL防御规则 登录安装有Spark客户端的节点，执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令，配置环境变量。 source bigdata_env
Hive SQL运行变慢阶段如何排查 场景说明 对于一个Hive SQL任务，如果运行时间突然变长，可能有多种原因造成，如HiveServer编译变慢、访问HDFS变慢、访问Yarn变慢或访问元数据变慢。 操作步骤 以下为Hive SQL在哪个阶段执行变慢的排查方法： HiveServer编译变慢
splitBolt" #第一个数据流名称，只作为展示 from: "kafkaSpout" #数据流起点，值为spouts中定义的kafkaSpout to: "splitBolt" #数据流终点，值为bolts中定义的splitBolt grouping:#定义分组方式 type:
LakeFormation服务概述 该LakeFormation入门教程介绍了如何创建一个LakeFormation实例并与MRS集群对接，实现统一的数据湖元数据及权限管理。 使用流程简介 MRS与LakeFormation对接的使用流程如下图所示： 图1 LakeFormation使用流程
已开启Token认证机制，详细操作请参考Kafka服务端配置。 已安装Kafka客户端。 操作步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。 source
数据进行ETL（Extract-Transform-Load）处理形成模型化数据，以便提供给各个业务模块进行分析梳理，这类业务通常有以下特点： 对执行实时性要求不高，作业执行时间在数十分钟到小时级别。 数据量巨大。 数据来源和格式多种多样。 数据处理通常由多个任务构成，对资源需要进行详细规划。
【Spark WebUI】HistoryServer缓存的应用被回收导致此类应用页面访问时出错 用户问题 在History Server页面中访问某个Spark应用的页面时，发现访问时出错。 查看相应的HistoryServer日志后，发现有“FileNotFound”异常，相关日志如下所示：
HistoryServer缓存的应用被回收，导致此类应用页面访问时出错 问题 在History Server页面中访问某个Spark应用的页面时，发现访问时出错。 查看相应的HistoryServer日志后，发现有“FileNotFound”异常，相关日志如下所示： 2016-11-22
HDFS支持集群掉电自动恢复 操作场景 HDFS数据写入磁盘时会先写入操作系统缓存，当操作系统缓存写入完成后则认为数据写入完成，缓存数据写入磁盘工作交由操作系统完成。如果此时集群断电，则缓存的数据就会丢失，造成HDFS丢块现象。在HDFS启动时如果有丢块，那么HDFS会进入安全模式，无法自动恢复。
ALM-45649 RocksDB的Get P95耗时持续超过阈值 本章节适用于MRS 3.3.0及以后版本。 告警解释 系统以用户配置的告警周期（metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration，默认180s）检
warehouse.dir配置 保存配置，然后单击“集群 > 服务”，在服务列表中重启Hive服务。 更新客户端配置文件。 登录Hive客户端所在的节点，执行以下命令修改Hive客户端配置文件目录下的“hivemetastore-site.xml”。 vi 客户端安装目录/Hive/conf
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
