检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用不同用户执行yarn-session创建Flink集群失败 问题背景与现象 使用Flink过程中,具有两个相同权限用户testuser和bdpuser。 使用用户testuser创建Flink集群正常,但是切换至bdpuser用户创建Fllink集群时,执行yarn-session
通过Yarn WebUI页面查看作业日志提示“ERROR 500”错误 问题背景与现象 在MRS上提交的SparkStreaming流式作业执行一段时间后,查看Yarn WebUI页面全量日志报“HTTP ERROR 500 org.apache.http.ConnectionCloseException:
//按逗号分隔一行数据 String[] tokens = s.split(","); //将分割后的三个元素组成一个三元Tuple Tuple3<String, String, Integer> person =
IntWritable> { /** * map的输入,key为原文件位置偏移量,value为原文件的一行字符数据。 * 其map的输入key,value为文件分割方法InputFormat提供,用户不设置,默认 * 使用TextInputFormat。 */ public void map(Object
导入并配置Storm样例工程 背景信息 Storm客户端安装程序目录中包含了Storm开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight
//按逗号分隔一行数据 String[] tokens = s.split(","); //将分割后的三个元素组成一个三元Tuple Tuple3<String, String, Integer> person =
导入并配置Storm样例工程 背景信息 Storm客户端安装程序目录中包含了Storm开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight
equence file文件格式。 BINARY_FILE:以二进制流的方式导入文件,可以导入任何格式的文件。 文件分割方式 选择按FILE文件或SIZE大小分割源文件成多份,作为数据导出的MapReduce任务中各个map的输入文件。 Map数 配置数据操作的MapReduce
JDK版本不匹配导致启动spark-sql和spark-shell失败 问题背景与现象 JDK版本不匹配导致客户端启动spark-sql、spark-shell失败。 原因分析 在Driver端打印异常如下: Exception Occurs: BadPadding 16/02/22
集群外节点访问MRS HDFS报错 问题背景与现象 集群外节点访问MRS HDFS的时候报错:Class org.apache.hadoop.hdfs.server.namenode.ha.AdaptiveFailoverProxyProvider not found。 原因分析
导入并配置HBase样例工程 背景信息 获取HBase开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与MRS集群的时间差要小于5分钟,若无法确定,请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。
SparkSQL访问Hive分区表启动Job前耗时较长如何处理? 问题背景 使用SparkSql访问Hive的一个数据存放于OBS的一个分区表,但是运行速度却很慢,并且会大量调用OBS的查询接口。 SQL样例: select a,b,c from test where b=xxx
导入并配置Kafka样例工程 背景信息 获取Kafka开发样例工程,将工程导入到IntelliJ IDEA开始样例学习及应用程序开发。 前提条件 确保本地环境的时间与MRS集群的时间差要小于5分钟,若无法确定,请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。
YAML configuration file : security.kerberos.login.principal:pippo” 问题背景与现象 客户端安装成功,执行客户端命令例如yarn-session.sh时报错,提示如下: [root@host01 bin]# yarn-session
导入并配置HBase样例工程 背景信息 获取HBase开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。
提交Spark任务时Driver端提示运行内存超限 问题背景与现象 运行内存超限导致提交Spark任务失败。 原因分析 在Driver日志中直接打印申请的executor memory超过集群限制。 ... INFO Client: Verifying our application
导入并配置Kafka样例工程 背景信息 获取Kafka开发样例工程,将工程导入到IntelliJ IDEA开始样例学习及应用程序开发。 前提条件 确保本地环境的时间与MRS集群的时间差要小于5分钟,若无法确定,请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。
新建集群Consumer消费数据失败,提示“GROUP_COORDINATOR_NOT_AVAILABLE” 问题背景与现象 新建Kafka集群,部署Broker节点数为2,使用Kafka客户端可以正常生产,但是无法正常消费。Consumer消费数据失败,提示GROUP_COOR
KTable<String, Long> counts = source // 处理接收的记录,根据正则表达式REGEX_STRING进行分割 .flatMapValues(value -> Arrays.asList(value.toLowerCase(Locale
KTable<String, Long> counts = source // 处理接收的记录,根据正则表达式REGEX_STRING进行分割 .flatMapValues(value -> Arrays.asList(value.toLowerCase(Locale