检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
csv;*.txt 编码类型 源文件的编码格式，如UTF-8、GBK。导入文本文件时才能配置。 UTF-8 后缀名 源文件导入成功后对输入文件增加的后缀值。该值为空，则表示不加后缀。数据源为文件系统，该参数才有效。用户若需增量导入数据建议设置该参数。 例如设置为“.txt”，源文件为“test-loader
csv;*.txt 编码类型 源文件的编码格式，如UTF-8、GBK。导入文本文件时才能配置。 UTF-8 后缀名 源文件导入成功后对输入文件增加的后缀值。该值为空，则表示不加后缀。数据源为文件系统，该参数才有效。用户如果需增量导入数据建议设置该参数。 例如设置为“.txt”，源文件为“test-loader
csv;*.txt 编码类型 源文件的编码格式，如UTF-8、GBK。导入文本文件时才能配置。 UTF-8 后缀名 源文件导入成功后对输入文件增加的后缀值。该值为空，则表示不加后缀。数据源为文件系统，该参数才有效。用户如果需增量导入数据建议设置该参数。 例如设置为“.txt”，源文件为“test-loader
Map任务分别将两个表文件的记录处理成（Join Key，Value），然后按照Join Key做Hash分区后，送到不同的Reduce任务里去处理。 Reduce任务一般使用Nested Loop方式递归左表的数据，并遍历右表的每一行，对于相等的Join Key，处理Join结果并输出。 以上方式的最大问题
Hive在做Select查询时，一般会扫描整个表内容，会消耗较多时间去扫描不关注的数据。此时，可根据业务需求及其查询维度，建立合理的表分区，从而提高查询效率。 操作步骤 MRS 3.x之前版本： 登录MRS控制台，在左侧导航栏选择“现有集群”，单击集群名称。选择“节点管理 > 节点名称” ，
建立Hive表分区提升查询效率 操作场景 Hive在做Select查询时，一般会扫描整个表内容，会消耗较多时间去扫描不关注的数据。此时，可根据业务需求及其查询维度，建立合理的表分区，从而提高查询效率。 操作步骤 以root用户登录已安装Hive客户端的节点。 执行以下命令，进入客
配置Kafka数据均衡工具 操作场景 该任务指导管理员根据业务需求，在客户端中执行Kafka均衡工具来均衡Kafka集群的负载，一般用于节点的退服、入服以及负载均衡的场景。 前提条件 MRS集群管理员已明确业务需求，并准备一个Kafka管理员用户（属于kafkaadmin组，普通模式不需要）。
ode的操作，需要定位是什么进程终止了DataNode服务端进程。 原因分析 常见的进程被异常终止有2种原因： Java进程OOM被终止 一般Java进程都会配置OOM Killer，当检测到OOM会自动终止进程，OOM日志通常被打印到out日志中，此时可以看运行日志（如DataNode的日志路径为
controller资源异常时，产生该告警。 当HA检测到controller资源正常后，告警恢复。 controller资源为单主资源，一般资源异常会导致主备倒换，看到告警时，基本已经主备倒换，并在新主环境上启动新的controller资源，告警恢复。该告警用于提示用户，Manager主备倒换的原因。
续2次检测到executor资源异常时，产生该告警。 当HA检测到executor资源正常后，告警恢复。 executor资源为单主资源，一般资源异常会导致主备倒换，看到告警时，基本已经主备倒换，并在新主环境上启动新的executor资源，告警恢复。该告警用于提示用户，Manager主备倒换的原因。
HDFS Java API接口介绍 HDFS完整和详细的接口可以直接参考官方网站上的描述： http://hadoop.apache.org/docs/r3.1.1/api/index.html HDFS常用接口 HDFS常用的Java类有以下几个： FileSystem：是客户端应用的核心类。常用接口参见表1。
code2说明是在执行mapreduce任务期间报错导致任务失败。 原因分析 进入Yarn原生页面查看MapReduce任务的日志看到报错是无法识别到压缩方式导致错误，看文件后缀是gzip压缩，堆栈却报出是zlib方式。 因此怀疑此语句查询的表对应的HDFS上的文件有问题，Map日志中打印出了解析的对应的文件名，将
括集群组件信息文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。 场景一：准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight Manager，选择“集群 > 概览
用户自定义，请咨询系统管理员。 执行命令su - omm，切换至omm用户。 执行sh ${BIGDATA_HOME}/om-server/OMS/workspace0/ha/module/hacom/script/status_ha.sh，查询当前HA管理的disaster资源
括集群组件信息文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。 场景一：准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight Manager，选择“集群 > 概览
keytab文件。“人机”用户第一次登录时需修改密码。（普通模式不涉及） 在修改集群域名后，需要重新下载客户端，以保证客户端配置文件中kerberos.domain.name配置为正确的服务端域名。 使用Kafka客户端 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。
MapReduce Java API接口介绍 关于MapReduce的详细API可以参考官方网站：http://hadoop.apache.org/docs/r3.1.1/api/index.html 常用接口 MapReduce中常见的类如下： org.apache.hadoop
keytab文件，“人机”用户第一次登录时需修改密码。（普通模式不涉及） 在修改集群域名后，需要重新下载客户端，以保证客户端配置文件中kerberos.domain.name配置为正确的服务端域名。 使用Kafka客户端 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。
BulkLoad程序在客户端启动时会生成一个partitioner文件，用于划分Map任务数据输入的范围。 此文件在BulkLoad客户端退出时会被自动删除。 一般来说当所有Map任务都启动运行以后，退出BulkLoad客户端也不会导致已提交的作业失败。但由于Map任务存在重试机制和推测执行机制；Re
HDFS Java API接口介绍 HDFS完整和详细的接口可以直接参考官方网站上的描述：http://hadoop.apache.org/docs/r2.7.2/api/index.html。 HDFS常用接口 HDFS常用的Java类有以下几个。 FileSystem：是客户端应用的核心类。常用接口参见表1。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
