检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过Yarn WebUI页面查看作业日志提示“ERROR 500”错误 问题背景与现象 在MRS上提交的SparkStreaming流式作业执行一段时间后，查看Yarn WebUI页面全量日志报“HTTP ERROR 500 org.apache.http.ConnectionCloseException:
如果您是首次使用MRS的用户，建议您学习并了解如下信息： 基础知识了解 通过MRS组件介绍和产品功能章节的内容，了解MRS相关的基础知识，包含MRS各组件的基本原理和增强特性介绍，以及MRS服务的特有概念和功能的详细介绍。 入门使用 您可以参考《快速入门》学习并上手使用MRS。《快速入门
//按逗号分隔一行数据 String[] tokens = s.split(","); //将分割后的三个元素组成一个三元Tuple Tuple3<String, String, Integer> person =
//按逗号分隔一行数据 String[] tokens = s.split(","); //将分割后的三个元素组成一个三元Tuple Tuple3<String, String, Integer> person =
IntWritable> { /** * map的输入，key为原文件位置偏移量，value为原文件的一行字符数据。 * 其map的输入key，value为文件分割方法InputFormat提供，用户不设置，默认 * 使用TextInputFormat。 */ public void map(Object
YAML configuration file : security.kerberos.login.principal:pippo” 问题背景与现象 客户端安装成功，执行客户端命令例如yarn-session.sh时报错，提示如下： [root@host01 bin]# yarn-session
equence file文件格式。 BINARY_FILE：以二进制流的方式导入文件，可以导入任何格式的文件。 文件分割方式 选择按FILE文件或SIZE大小分割源文件成多份，作为数据导出的MapReduce任务中各个map的输入文件。 Map数 配置数据操作的MapReduce
SparkSQL访问Hive分区表启动Job前耗时较长如何处理？ 问题背景 使用SparkSql访问Hive的一个数据存放于OBS的一个分区表，但是运行速度却很慢，并且会大量调用OBS的查询接口。 SQL样例： select a,b,c from test where b=xxx
equence file文件格式。 BINARY_FILE：以二进制流的方式导入文件，可以导入任何格式的文件。 文件分割方式 选择按FILE文件或SIZE大小分割源文件成多份，作为数据导出的MapReduce任务中各个map的输入文件。 Map数 配置数据操作的MapReduce
新建集群Consumer消费数据失败，提示“GROUP_COORDINATOR_NOT_AVAILABLE” 问题背景与现象 新建Kafka集群，部署Broker节点数为2，使用Kafka客户端可以正常生产，但是无法正常消费。Consumer消费数据失败，提示GROUP_COOR
提交Spark任务时Driver端提示运行内存超限 问题背景与现象 运行内存超限导致提交Spark任务失败。 原因分析 在Driver日志中直接打印申请的executor memory超过集群限制。 ... INFO Client: Verifying our application
KTable<String, Long> counts = source // 处理接收的记录，根据正则表达式REGEX_STRING进行分割 .flatMapValues(value -> Arrays.asList(value.toLowerCase(Locale
reduce个数的控制使用“mapreduce.job.reduces”。 map个数取决于使用了哪种InputFormat，以及待处理的数据文件是否可分割。默认的TextFileInputFormat将根据block的个数来分配map数(一个block一个map)。通过如下配置参数进行调整。
HDFS目录配额不足导致写文件失败 问题背景与现象 给某目录设置quota后，往目录中写文件失败，出现如下问题“The DiskSpace quota of /tmp/tquota2 is exceeded”。 [omm@189-39-150-115 client]$ hdfs dfs
RegionServer实例异常，处于Restoring状态 问题背景 HBase启动失败，RegionServer一直处于Restoring状态。 原因分析 查看异常的RegionServer实例的运行日志（/var/log/Bigdata/hbase/rs/hbase-omm-XXX
如何针对Topic进行配置增加和删除 问题背景与现象 使用Kafka过程中常常需要对特定Topic进行配置或者修改。 Topic级别可以修改参数列表： cleanup.policy compression.type delete.retention.ms file.delete.delay
reduce个数的控制使用“mapreduce.job.reduces”。 map个数取决于使用了哪种InputFormat，以及待处理的数据文件是否可分割。默认的TextFileInputFormat将根据block的个数来分配map数(一个block一个map)。通过如下配置参数进行调整。
KTable<String, Long> counts = source // 处理接收的记录，根据正则表达式REGEX_STRING进行分割 .flatMapValues(value -> Arrays.asList(value.toLowerCase(Locale
文件错误导致上传文件到HDFS失败 问题背景与现象 用hadoop dfs -put把本地文件拷贝到HDFS上，有报错。 上传部分文件后，报错失败，从NameNode原生页面看，临时文件大小不再变化。 原因分析 查看NameNode日志“/var/log/Bigdata/hdfs
Storm UI查看信息时显示Internal Server Error 问题背景与现象 使用MRS版本安装集群，主要安装ZooKeeper、Strom。 通过MRS Manager中的Storm Status页面UI连接访问信息时显示如下信息： Internal Server Error
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
