检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据场景开发工程 提供了样例工程。 帮助用户快速了解MapReduce各部件的编程接口。 开发MapReduce应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测MapReduce应用 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。 调测MapReduce应用
提供了样例工程。 帮助用户快速了解MapReduce各部件的编程接口。 MapReduce统计样例程序开发思路 MapReduce访问多组件样例程序开发思路 编译并运行程序 指导用户将开发好的程序编译并提交运行。 编译并运行MapReduce应用 查看程序运行结果 程序运行结果会写在用户指定的路
修改节点主机名后导致MRS集群状态异常 问题现象 修改节点主机名后，MRS集群状态异常。 原因分析 修改节点hostname导致兼容性问题和故障。 处理步骤 以root用户登录集群的任意节点。 在集群节点中执行cat /etc/hosts命令，查看各个节点的hostname值，根据此值来配置newhostname变量值
进入HBase命令行运行模式（也称为CLI客户端连接），如下所示。 hbase(main):001:0> 您可以在命令行运行模式中运行help命令获取HBase的命令参数的帮助信息。 注意事项 count命令不支持条件统计，仅支持全表统计。 获取HBase replication指标的命令 通过Shell命令“
equals("female"); } }).keyBy( new UserRecordSelector() ).window( TumblingEventTimeWindows.of(Time
INTO TABLE employees_info; 加载数据的实质是将数据复制到HDFS上指定表的目录下。 父主题： Hive JDBC访问样例程序
如何在提交MapReduce任务时设置任务优先级 问题 如何在提交MapReduce任务时设置任务优先级？ 回答 当您在客户端提交MapReduce任务时，可以在命令行中增加“-Dmapreduce.job.priority=<priority>”参数来设置任务优先级。格式如下：
配置为true。 false为使用随机连接，多主实例模式，配置为false。 true 说明： 该参数修改后需要重新下载客户端。 spark.thriftserver.proxy.enabled 是否使用多租户模式。 false表示使用多实例模式。 true表示使用多租户模式。 true
加载空的part文件时，app无法显示在JobHistory的页面上 问题 在分组模式下执行应用，当HDFS上的part文件为空时，发现JobHistory首页面上不显示该part对应的app。 回答 JobHistory服务更新页面上的app时，会根据HDFS上的part文件大
算子会调用RDD中的take算子来实现底层的计算。 Take算子会以Partition为单位多次触发计算。 在该问题中，由于Shuffle操作，导致take算子默认有两个Partition，Spark首先计算第一个Partition，但由于没有数据输入，导致获取结果不足10个，从
Superior调度模式下，单个NodeManager故障可能导致MapReduce任务失败 问题 在Superior调度模式下，如果出现单个NodeManager故障，可能会导致Mapreduce任务失败。 回答 正常情况下 ，当一个application的单个task的att
如何在CarbonData数据加载时修改默认的组名？ 问题 如何在CarbonData数据加载时修改默认的组名？ 回答 CarbonData数据加载时，默认的组名为“ficommon”。可以根据需要修改默认的组名。 编辑“carbon.properties”文件。 根据需要修改关键字“carbon
如何在提交MapReduce任务时设置任务优先级 问题 如何在提交MapReduce任务时设置任务优先级？ 回答 当您在客户端提交MapReduce任务时，可以在命令行中增加“-Dmapreduce.job.priority=<priority>”参数来设置任务优先级。格式如下：
source /opt/client/bigdata_env 认证集群用户（未启用kerberos的集群可跳过此步骤）。 人机用户：kinit kerberos用户 机机用户： kinit -kt 认证文件路径 kerberos用户 运行opentsdb样例程序。 java -cp /opt
N状态，导致建表失败。 由于Region上线失败而处于FAILED_OPEN状态造成的建表失败异常不能直接修复，需要删除该表后重新建表。 操作步骤如下： 在集群客户端使用如下命令修复表的状态。 hbase hbck -j ${CLIENT_HOME}/HBase/hbase/tools/hbase-hbck2-1
Hudi在upsert时占用了临时文件夹中大量空间 问题 Hudi在upsert时占用了临时文件夹中大量空间。 回答 当UPSERT大量输入数据时，如果数据量达到合并的最大内存时，Hudi将溢出部分输入数据到磁盘。 如果有足够的内存，请增加spark executor的内存和添加“hoodie
提供了Java语言的样例工程，包含从建表、写入到删除表全流程的样例工程。 开发HBase应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测HBase应用 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。 调测HBase应用 父主题： HBase开发指南（普通模式）
HDFS样例程序开发思路 场景说明 HDFS的业务操作对象是文件，代码样例中所涉及的文件操作主要包括创建文件夹、写文件、追加文件内容、读文件和删除文件/文件夹；HDFS还有其他的业务处理，例如设置文件权限等，其他操作可以在掌握本代码样例之后，再扩展学习。 本代码样例讲解顺序为： HDFS初始化
Kakfa消费者读取单条记录过长问题 问题背景与现象 和“Kafka生产者写入单条记录过长问题”相对应的，在写入数据后，用户开发一个应用，以消费者调用新接口（org.apache.kafka.clients.consumer.*）到Kafka上读取数据，但读取失败，报异常大致如下：
如何关闭MRS集群内节点的防火墙服务？ 问： 如何关闭MRS集群内节点的防火墙服务？ 答： 以root用户登录集群的各个节点。 检查防火墙服务是否启动。 例如，EulerOS环境下执行systemctl status firewalld.service命令。 关闭防火墙服务。 例
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
