检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase BulkLoad和Put应用场景说明 HBase支持使用bulkload和put方式加载数据,在大部分场景下bulkload提供了更快的数据加载速度,但bulkload并不是没有缺点的,在使用时需要关注bulkload和put适合在哪些场景使用。 bulkload是通
ALM-12017 磁盘容量不足(2.x及以前版本) 告警解释 系统每30秒周期性检测磁盘容量,并把实际磁盘容量和阈值相比较。磁盘容量默认提供一个阈值。当检测到磁盘容量低于阈值时产生该告警。 用户可通过“系统设置 > 阈值配置”修改阈值。 当主机磁盘使用率小于或等于阈值时,告警恢复。
Hudi支持Partial Update 本章节内容仅适用于MRS 3.3.1-LTS及之后版本。 该特性允许用户使用Hudi完成部分列更新。用户可以使用同一主键下的最新数据逐一更新每行数据的不同列字段,直到整条数据完整。 场景说明 当前开源社区提供了PartialUpdateA
Flume向Spark Streaming提交作业后报类找不到错误 用户问题 Flume向Spark Streaming提交作业,提交到集群后报类找不到的错误。 问题现象 Spark Streaming代码打成jar包提交到集群后报类找不到错误,通过以下两种方式依然不生效。 在提交Spark作业的时候使用--jars
访问Impala WebUI界面 用户可以通过Impala的WebUI,在图形化界面查看Impala作业的相关信息。Impala的WebUI根据实例不同分为如下三种: StateStore WebUI:用于管理节点。 Catalog WebUI:用于查看元数据。 前提条件 已安装Impala服务的集群。
通过Yarn WebUI页面查看作业日志提示“ERROR 500”错误 问题背景与现象 在MRS上提交的SparkStreaming流式作业执行一段时间后,查看Yarn WebUI页面全量日志报“HTTP ERROR 500 org.apache.http.ConnectionCloseException:
通过Sqoop迁移数据库数据时报错 用户问题 MRS Sqoop迁移数据库数据报错如下: Communications link failure; The driver has not received any packets from the server; 源端为DWS数据库时报错如下:
ALM-14024 租户空间使用率超过阈值 告警解释 系统每小时周期性检测租户所关联的每个目录的空间使用率(每个目录已使用的空间大小/每个目录分配的空间大小),并把每个目录实际的空间使用率和该目录设置的阈值相比较。当检测到租户所关联的目录空间使用率高于该目录设置的阈值时,产生该告警。
Presto的coordinator进程无法正常启动 用户问题 Presto的coordinator未知原因被终止,或者Presto的coordinator进程无法正常启动。 问题现象 Presto的coordinator无法正常启动,Manager页面上显示presto coo
访问Impala WebUI界面 用户可以通过Impala的WebUI,在图形化界面查看Impala作业的相关信息。Impala的WebUI根据实例不同分为如下三种: StateStore WebUI:用于管理节点。 Catalog WebUI:用于查看元数据。 前提条件 已安装Impala服务的集群。
HBase文件丢失导致Region状态长时间为RIT 用户问题 数据迁移到新集群后,HBase的Region状态为RIT或FAILED_OPEN。 原因分析 登录到集群的Core节点查看RegionServer日志,报错: “Region‘3b3ae24c65fc5094bc2a
ALM-45736 Guardian服务不可用 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 告警模块按60秒周期检测Guardian服务状态,当检测到Guardian服务异常时,系统产生此告警。 当系统检测到Guardian服务恢复正常,且告警处理完成时,告警恢复。 告警属性
使用Hue提交Oozie Distcp作业 操作场景 该任务指导用户通过Hue界面提交Distcp类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“DistCp”按钮,将其拖到操作区中。 当前DistCp操作是否是跨集群操作。 是,执行4。
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试? 回答 以调试SparkPi程序为例,演示如何进行IDEA的远程调试。 打开工程,在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的“+”
使用Hue提交Oozie Distcp作业 操作场景 该任务指导用户通过Hue界面提交Distcp类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“DistCp”按钮,将其拖到操作区中。 当前DistCp操作是否是跨集群操作。 是,执行4。
Spark Core数据序列化 操作场景 Spark支持两种方式的序列化 : Java原生序列化JavaSerializer Kryo序列化KryoSerializer 序列化对于Spark应用的性能来说,具有很大的影响。在特定的数据格式的情况下,KryoSerializer的性
Hue中的输入框输入中文会出现混乱 用户问题 Hue中的输入框输入中文会出现混乱。 问题现象 Hue的输入框中输入中文时,会出现混乱,第一次输入不了的情况,也即输入的中文会首先出现英文,中文并未输入,再次输入会带上之前的内容,示例如下: 原因分析 Hue对中文的处理存在混乱的情况,需要进行修正。
Hive应用开发常用概念 客户端 客户端直接面向用户,可通过Java API、Thrift API访问服务端进行Hive的相关操作。本文中的Hive客户端特指Hive client的安装目录,里面包含通过Java API访问Hive的样例代码。 HiveQL语言 Hive Query
数据恢复 HDFS文件属性恢复 根据导出的权限信息在目的集群的后台使用HDFS命令对文件的权限及属主/组信息进行恢复。 $HADOOP_HOME/bin/hdfs dfs -chmod <MODE> <path> $HADOOP_HOME/bin/hdfs dfs -chown <OWNER>
Flink应用开发常用概念 DataStream 数据流,是指Flink系统处理的最小数据单元。该数据单元最初由外部系统导入,可以通过socket、Kafka和文件等形式导入,在Flink系统处理后,通过Socket、Kafka和文件等输出到外部系统,这是Flink的核心概念。 Data