检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MapReduce服务 MRS MRS集群健康检查 03:25 MRS集群健康检查 MapReduce服务 MRS 在线检索和下载MRS集群日志 03:48 在线检索和下载MRS集群日志 MapReduce服务 MRS 创建MRS集群用户 05:19 创建MRS集群用户 组件知识培训
CLI介绍 Flink应用性能调优建议 Savepoints相关问题解决方案 如何处理checkpoint设置RocksDBStateBackend方式，且当数据量大时，执行checkpoint会很慢的问题？ 如何处理blob.storage.directory配置/home目录时，
用户请求配额不足，请联系客服提升配额。 MRS.102 用户Token为空或不合法，请稍后重试或联系客服。 MRS.103 用户请求不合法，请稍后重试或联系客服。 MRS.104 用户资源不足，请稍后重试或联系客服。 MRS.105 现子网IP不足，请稍后重试或联系客服。 MRS.201
Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。
行程序并获取结果，本章节指导您如何在MRS集群中提交一个SparkSubmit作业。 Spark是一个开源的并行数据处理框架，能够帮助用户简单、快速的开发，统一的大数据应用，对数据进行离线处理、流式处理、交互式分析等。 用户可以在MRS管理控制台在线创建一个作业并提交运行，也可以
MRS是否支持更换网段？ MRS集群内节点是否支持降配操作？ 不同版本的Hive之间是否可以兼容？ 数据存储在OBS和HDFS有什么区别？ 10亿级数据量场景的解决方案有哪些？ zstd的压缩比有什么优势？
Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。
name=default.t1]] (state=42000,code=40000) 原因分析 创建的新用户没有Hive组件的操作权限。 解决方案 MRS Manager界面操作： 登录MRS Manager页面，选择“系统配置 > 角色管理 > 添加角色”。 输入角色名称。 在“
kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题： MRS应用开发开源jar包冲突列表说明
fn_test3]] (state=42000,code=40000) 原因分析 Hive中创建永久函数需要特殊的role admin。 解决方案 在执行语句前执行set role admin命令即可解决。 父主题： 使用Hive
用户可将自己开发的程序提交到MRS中，执行程序并获取结果，本章节指导您如何在MRS集群中提交一个MapReduce作业。 MapReduce作业用于提交Hadoop jar程序快速并行处理大量数据，是一种分布式数据处理模式。 用户可以在MRS管理控制台在线创建一个作业并提交运行，也可以通过MRS集群客户端来以命令行形式提交作业。
hbase-client-2.2.3-*.jar 连接HBase服务必须的jar包。 zookeeper-*.jar 连接ZooKeeper服务必须的jar包。 解决方案 使用MRS集群的ZooKeeper包“zookeeper*.jar”。 使用exclusions排除掉hbase-client里面的zookeeper。
operation DFS : [ADMIN PRIVILEGE] (state=,code=1) 原因分析 当前登录的用户不具备操作此命令的权限。 解决方案 如果登录的当前用户具有admin角色，请用set role admin来切换成admin角色操作。如果不具备admin角色，在Manager页面中给用户绑定对应角色的权限。
dir}设置了输出目录，因此在yarn-cluster模式执行任务不会报FileNotFoundException异常。 处理方法： 注：下面所说的$SPAKR_HOME默认是/opt/client/Spark/spark 解决方案1：手动切换日志配置文件。修改文件$SPARK_HOME/conf/spark-defaults
cannot submit applications to queue root.QueueA 原因分析 当前登录的用户无YARN队列提交权限。 解决方案 用户无YARN队列提交权限，需要赋予YARN相应队列的提交权限。在Manager页面的“系统 >权限 > 用户”中给用户绑定队列提交权限的角色。
如何查看MRS Hive元数据？ Hive的元数据存放在MRS服务集群的GaussDB中，可执行如下步骤查看： 以root用户登录到DBServer主节点。 执行以下命令登录Hive元数据库： su - omm source $DBSERVER_HOME/.dbservice_profile
LDAP/KrbServer服务不可用会导致Hive服务状态为Bad。 MetaStore实例不可用会导致Hive服务状态为Bad。 解决方案 DBservice服务不可用请参考ALM-27001 DBService服务不可用。 HDFS服务不可用请参考ALM-14000 HDFS服务不可用。
Hive查询结果表做压缩存储（ARC4），对结果表做select * 查询时返回结果为乱码。 可能原因 Hive默认压缩格式不是ARC4格式或者未开启输出压缩。 解决方案 在select结果乱码时，在beeline中进行如下设置。 set mapreduce.output.fileoutputformat
Spark作业报错“UnknownScannerExeception”如何处理？ 问题现象 Spark作业运行查看日志有些WARN日志，作业运行很慢，Caused by显示：UnknownScannerExeception。 解决方法 运行Spark作业前，调整hbase.client
处理是不同的。 UPSERT操作时，Hudi使用Avro兼容的parquet文件写入类进行写入，这个和Spark的写入方式是不兼容的。 解决方案： 执行BULK_INSERT时指定设置“hoodie.datasource.write.row.writer.enable = fal
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
