检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS最佳实践汇总 本文汇总了MapReduce（MRS）服务的常见应用场景，并为每个场景提供详细的方案描述和操作指南，您可以根据本文查看适合您业务的实践教程文档。 MRS最佳实践 开发者社区精选最佳实践 表1 MRS最佳实践 分类 相关文档 数据分析类 使用Spark2x实现车联网车主驾驶行为分析
Spark作业的Client模式和Cluster模式有什么区别？ 理解YARN-Client和YARN-Cluster深层次的区别之前先清楚一个概念：Application Master。 在YARN中，每个Application实例都有一个ApplicationMaster进程
选项通常会和-update配合使用，表示将源位置和目标位置的文件同步，删除掉目标位置多余的文件。 -diff <oldSnapshot> <newSnapshot> 将新旧版本之间的差异内容，拷贝到目标位置的旧版本文件中。 -skipcrccheck 是否跳过源文件和目标文件之间的CRC校验。
置文件，则无该参数。 远端节点上部署路径若已存在，该路径下不能包含任何文件。若不存在，该路径会被创建。登录远端节点用户需要对该路径具有执行和写权限。 使用WinSCP工具，以客户端安装用户将压缩文件保存到客户端安装的目录，例如“/opt/hadoopclient”。 解压软件包。
HDFS样例程序开发思路 场景说明 HDFS的业务操作对象是文件，代码样例中所涉及的文件操作主要包括创建文件夹、写文件、追加文件内容、读文件和删除文件/文件夹；HDFS还有其他的业务处理，例如设置文件权限等，其他操作可以在掌握本代码样例之后，再扩展学习。 本代码样例讲解顺序为： HDFS初始化
HDFS样例程序开发思路 场景说明 HDFS的业务操作对象是文件，代码样例中所涉及的文件操作主要包括创建文件夹、写文件、追加文件内容、读文件和删除文件/文件夹；HDFS还有其他的业务处理，例如设置文件权限等，其他操作可以在掌握本代码样例之后，再扩展学习。 本代码样例讲解顺序为： HDFS初始化
选定指标的分布曲线图。 用户需要了解服务和主机关键监控指标中最高、最低或平均监控数据形成的曲线，即资源分布情况时，可以在MRS Manager上查看，支持查询1小时以内的监控数据。 用户也可以在MRS Manager上修改资源分布，使服务和主机的资源分布图表中，可以按自定义的数值
Doris JDBC接口样例程序开发思路 通过典型场景，用户可以快速学习和掌握Doris的开发过程，并且对关键的接口函数有所了解。 场景说明 Doris可以使用SQL进行常见的业务操作，代码样例中所涉及的SQL操作主要包括创建数据库、创建表、插入表数据、查询表数据以及删除表操作。
Doris JDBC接口样例程序开发思路 通过典型场景，用户可以快速学习和掌握Doris的开发过程，并且对关键的接口函数有所了解。 场景说明 Doris可以使用SQL进行常见的业务操作，代码样例中所涉及的SQL操作主要包括创建数据库、创建表、插入表数据、查询表数据以及删除表操作。
ClickHouse应用程序开发思路 通过典型场景，用户可以快速学习和掌握ClickHouse的开发过程，并且对关键的接口函数有所了解。 场景说明 ClickHouse可以使用SQL进行常见的业务操作，代码样例中所涉及的SQL操作主要包括创建数据库、创建表、插入表数据、查询表数据以及删除表操作。
HDFS样例程序开发思路 场景说明 HDFS的业务操作对象是文件，代码样例中所涉及的文件操作主要包括创建文件夹、写文件、追加文件内容、读文件和删除文件/文件夹；HDFS还有其他的业务处理，例如设置文件权限等，其他操作可以在掌握本代码样例之后，再扩展学习。 本代码样例讲解顺序为： HDFS初始化
ClickHouse应用程序开发思路 通过典型场景，用户可以快速学习和掌握ClickHouse的开发过程，并且对关键的接口函数有所了解。 场景说明 ClickHouse可以使用SQL进行常见的业务操作，代码样例中所涉及的SQL操作主要包括创建数据库、创建表、插入表数据、查询表数据以及删除表操作。
HDFS样例程序开发思路 场景说明 HDFS的业务操作对象是文件，代码样例中所涉及的文件操作主要包括创建文件夹、写文件、追加文件内容、读文件和删除文件/文件夹；HDFS还有其他的业务处理，例如设置文件权限等，其他操作可以在掌握本代码样例之后，再扩展学习。 本代码样例讲解顺序为： HDFS初始化
offset作为起始位置和当前topic最新的offset作为结束位置从Kafka上读取数据的。 Kafka服务的topic的leader异常后，若Kafka的leader和follower的offset相差太大，用户重启Kafka服务，Kafka的follower和leader相互切
”分隔，包括对应metric下所有tagk的值。 注意事项 创建表时，不需要指定timestamp和value字段，系统会根据指定的tags自动构建字段，包含以下字段，其中TAG1和TAG2由tags指定。 TAG1 String TAG2 String timestamp Timestamp
offset作为起始位置和当前topic最新的offset作为结束位置从Kafka上读取数据的。 Kafka服务的topic的leader异常后，如果Kafka的leader和follower的offset相差太大，用户重启Kafka服务，Kafka的follower和leader相互切
MR任务日志在HDFS上的归档路径 是 MR任务日志丢失 /tmp/hadoop-yarn/staging 固定目录 保存AM运行作业运行日志、作业概要信息和作业配置属性 否 任务运行异常 /tmp/hadoop-yarn/staging/history/done_intermediate 固定目录
务。Storm的目标是提供对大数据流的实时处理，可以可靠地处理无限的数据流。 Storm有很多适用的场景：实时分析、在线机器学习、持续计算和分布式ETL等，易扩展、支持容错，可确保数据得到处理，易于构建和操控。 Storm有如下几个特点： 适用场景广泛 易扩展，可伸缩性高 保证无数据丢失
务。Storm的目标是提供对大数据流的实时处理，可以可靠地处理无限的数据流。 Storm有很多适用的场景：实时分析、在线机器学习、持续计算和分布式ETL等，易扩展、支持容错，可确保数据得到处理，易于构建和操控。 Storm有如下几个特点： 适用场景广泛 易扩展，可伸缩性高 保证无数据丢失
于慢查询阈值）提交个数。 慢查询TOP用户请求统计列表：统计各个用户的慢查询统计明细，支持列表排序和全部导出功能。 在“慢查询列表”页面，用户可查看历史任务的慢查询列表、诊断结果和优化建议，支持导出查询结果。 历史统计信息的有效期取决于HSConsole实例的JVM内存大小，最多不超过60天。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
