检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（applicat
通过Hue管理Oozie作业 操作场景 用户需要使用图形化界面查看集群中所有作业时，可以通过Hue完成任务。 Hue提供了Oozie作业管理器功能，使用户可以通过界面图形化的方式使用Oozie。 Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等
开启/关闭TTL 命令功能 开启或者关闭Hudi表的TTL能力。 命令格式 call ttl_configuration(table => "[table]", path => "[path]", enabled => "[enabled]", strategy => "[strategy]"
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（applicat
Spark Core样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志，基于某些业务要求，要求开发Spark应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上TB级别的数据集。 一个MapReduce作业（applica
准备本地应用开发环境 Hive组件可以使用JDBC/HCatalog/Python/Python3接口进行应用开发。 准备JDBC/HCatalog开发环境 表1 JDBC/HCatalog开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。
Spark Core样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志，基于某些业务要求，要求开发Spark应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“
Spark SQL样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“
Repartition时有部分Partition没数据 问题 在repartition操作时，分块数“spark.sql.shuffle.partitions”设置为4500，repartition用到的key列中有超过4000个的不同key值。期望不同key对应的数据能分到不同
Compaction 本章节仅适用于MRS 3.3.0及之后版本。 命令功能 对Hudi表进行compaction操作，具体作用可以参考Hudi Compaction操作说明章节。 命令格式 call run_compaction(op => '[op]', table=>'[table]'
如何处理blob.storage.directory配置/home目录时启动yarn-session失败 问题 当用户设置“blob.storage.directory”为“/home”时，用户没有权限在“/home”下创建“blobStore-UUID”的文件，导致yarn-session启动失败。
Repartition时有部分Partition没数据 问题 在repartition操作时，分块数“spark.sql.shuffle.partitions”设置为4500，repartition用到的key列中有超过4000个的不同key值。期望不同key对应的数据能分到不同
使用Hash shuffle出现任务失败 问题 使用Hash shuffle运行1000000（map个数）*100000（reduce个数）的任务，运行日志中出现大量的消息发送失败和Executor心跳超时，从而导致任务失败。 回答 对于Hash shuffle，在shuffl
使用Hash shuffle出现任务失败 问题 使用Hash shuffle运行1000000（map个数）*100000（reduce个数）的任务，运行日志中出现大量的消息发送失败和Executor心跳超时，从而导致任务失败。 回答 对于Hash shuffle，在shuffl
为什么有时访问没有权限的parquet表时，在上报“Missing Privileges”错误提示之前，会运行一个Job？ 问题 为什么有时访问没有权限的parquet表时，在上报“Missing Privileges”错误提示之前，会运行一个Job？ 回答 Spark SQL对
配置Yarn数据访问通道协议 配置场景 服务端配置了web访问为https通道，如果客户端没有配置，默认使用http访问，客户端和服务端的配置不同，就会导致访问结果显示乱码。在客户端和服务端配置相同的“yarn.http.policy”参数，可以防止客户端访问结果显示乱码。 操作步骤
如何在导入Hive表时指定输出的文件压缩格式？ 问题现象 如何在导入Hive表时指定输出的文件压缩格式？ 处理步骤 当前Hive支持以下几种压缩格式： org.apache.hadoop.io.compress.BZip2Codec org.apache.hadoop.io.compress
配置Yarn数据访问通道协议 配置场景 服务端配置了web访问为https通道，如果客户端没有配置，默认使用http访问，客户端和服务端的配置不同，就会导致访问结果显示乱码。在客户端和服务端配置相同的“yarn.http.policy”参数，可以防止客户端访问结果显示乱码。 操作步骤
运行Spark Streaming任务参数调优的注意事项 问题 运行Spark Streaming任务时，随着executor个数的增长，数据处理性能没有明显提升，对于参数调优有哪些注意事项？ 回答 在executor核数等于1的情况下，遵循以下规则对调优Spark Streaming运行参数有所帮助。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
