检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hadoop压力测试工具如何获取？ 问： Hadoop压力测试工具如何获取？ 答： Hadoop压力测试工具社区获取地址：https://github.com/Intel-bigdata/HiBench。 父主题： 性能优化类
在Beeline/JDBCServer模式下连续运行10T的TPCDS测试套会出现内存不足的现象 问题 在Driver内存配置为10G时，Beeline/JDBCServer模式下连续运行10T的TPCDS测试套，会出现因为Driver内存不足导致SQL语句执行失败的现象。 回答
使用Kafka流控工具限制生产消费速度 操作场景 该任务指导用户根据业务需求，在客户端使用命令行工具kafka-configs.sh来管理Kafka集群的配置，按照不同的级别（topic级别、用户级别、客户端级别等）来限制Kafka消息生产和消费速度。 该功能仅适用于MRS 3.3
在Beeline/JDBCServer模式下连续运行10T的TPCDS测试套会出现内存不足的现象 问题 在Driver内存配置为10G时，Beeline/JDBCServer模式下连续运行10T的TPCDS测试套，会出现因为Driver内存不足导致SQL语句执行失败的现象。 回答
提升HBase非业务高峰期的Compaction执行速度 操作场景 HBase支持设置非业务高峰期和非高峰期的Compaction吞吐量，通过在非高峰期设置较大的吞吐量，加快Compaction的执行速度，减小高峰期Compaction对业务的影响。 该操作仅MRS 3.3.0及之后版本支持。
网络连接超时导致FetchFailedException 问题 在380节点的大集群上，运行29T数据量的HiBench测试套中ScalaSort测试用例，使用以下关键配置（--executor-cores 4）出现如下异常： org.apache.spark.shuffle.F
网络连接超时导致FetchFailedException 问题 在380节点的大集群上，运行29T数据量的HiBench测试套中ScalaSort测试用例，使用以下关键配置（--executor-cores 4）出现如下异常： org.apache.spark.shuffle.F
则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证明：10240个Task，2000个分区，在执行HDFS文件从临时目录rename到目标目录动作前，FileStatus元数据大小约29
则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证明：10240个Task，2000个分区，在执行HDFS文件从临时目录rename到目标目录动作前，FileStatus元数据大小约29
什么是MapReduce服务 大数据是人类进入互联网时代以来面临的一个巨大问题：社会生产生活产生的数据量越来越大，数据种类越来越多，数据产生的速度越来越快。传统的数据处理技术，比如说单机存储，关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题，Apache基金会推出了
0)数据类型，建议使用double数据类型来替换numeric (20,0)数据类型，以提高查询性能。 在一个测试用例中，使用double来替换numeric (20, 0)，查询时间从15秒降低到3秒，查询速度提高了5倍。创建表命令如下： create table carbondata_table(
Hive Join数据优化 操作场景 使用Join语句时，如果数据量大，可能造成命令执行速度和查询速度慢，此时可进行Join优化。 Join优化可分为以下方式： Map Join Sort Merge Bucket Map Join Join顺序优化 Map Join Hive的Map
单击“连接”后的下拉列表框，选择待编辑的连接名称。 在“连接”后单击“编辑”，进入编辑页面。 根据业务需要，修改连接配置参数。 单击“测试”。 如果显示测试成功，则执行6。 如果显示测试失败，则需要重复4。 单击“保存”。 如果某个Loader作业已集成一个Loader连接，那么编辑连接参数后可能导致Loader作业运行效果也产生变化。
Executor进程Crash导致Stage重试 问题 在执行大数据量的Spark任务（如100T的TPCDS测试套）过程中，有时会出现Executor丢失从而导致Stage重试的现象。查看Executor的日志，出现“Executor 532 is lost rpc with driver
Executor进程Crash导致Stage重试 问题 在执行大数据量的Spark任务（如100T的TPCDS测试套）过程中，有时会出现Executor丢失从而导致Stage重试的现象。查看Executor的日志，出现“Executor 532 is lost rpc with driver
waiting for task异常导致Shuffle FetchFailed 问题 使用JDBCServer模式执行100T的TPCDS测试套，出现Timeout waiting for task异常导致Shuffle FetchFailed，Stage一直重试，任务无法正常完成。
waiting for task异常导致Shuffle FetchFailed 问题 使用JDBCServer模式执行100T的TPCDS测试套，出现Timeout waiting for task异常导致Shuffle FetchFailed，Stage一直重试，任务无法正常完成。
Hive Group By语句优化 操作场景 优化Group by语句，可提升命令执行速度和查询速度。 Group by的时候， Map端会先进行分组， 分组完后分发到Reduce端， Reduce端再进行分组。可采用Map端聚合的方式来进行Group by优化，开启Map端初步聚合，减少Map的输出数据量。
0)数据类型，建议使用double数据类型来替换numeric (20,0)数据类型，以提高查询性能。 在一个测试用例中，使用double来替换numeric (20, 0)，查询时间从15秒降低到3秒，查询速度提高了5倍。创建表命令如下： create table carbondata_table(
与“按需计费”两种计费模式。 区域：待创建资源所在的区域信息，不同区域的资源之间内网不互通，请选择靠近您的区域，可以降低网络延时、提高访问速度。 根据界面提示，配置MRS集群信息。 创建集群时，您需要对集群的版本信息、网络信息、节点规格信息及数量以及其他高级配置功能进行配置。 MRS集群版本配置
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
