检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
站点。 前提条件 访问MRS集群Manager前，确保集群不处于启动中、停止中、停止、删除中、已删除、冻结状态。 操作视频 本视频为您介绍如何为MRS集群绑定弹性公网IP，并访问集群中组件的WebUI页面。 因不同版本操作界面可能存在差异，相关视频供参考，具体以实际环境为准。 通
文件在HDFS保存时的压缩行为。支持NONE、DEFLATE、GZIP、BZIP2、LZ4和SNAPPY。 是否覆盖 文件在导入HDFS时对写入目录中原有文件的处理行为，支持以下两种： True：默认清空目录中的文件并导入新文件。 False：不清空文件。如果写入目录中有文件，则作业运行失败。 换行符
at。也可以在“mapred-site.xml”中配置“mapreduce.job.inputformat.class”项。该设置用来指定处理不同格式的数据时需要的InputFormat类，用来读取数据，切分数据块。 setJarByClass(Class< > cls) 核心接
rrent -server -XX\:MetaspaceSize\=128M -XX\:MaxMetaspaceSize\=256M 解决方案 因此遇到此类异常应该检查最近的变更项，以确认是否配置有误。 METASTORE_GC_OPTS=Xms1024M -Xmx2048M
Connection refused (172.16.4.200是DBService的浮动IP) DBService backup failed. 解决办法 登录DBService主节点（绑定有DBService浮动IP的master节点）。 检查 /etc/ssh/sshd_config文
acl”默认为“creator”，仅创建者有权限访问，新用户无法访问ZooKeeper上的目录导致yarn-session.sh执行失败。 解决办法 修改客户端配置文件“conf/flink-conf.yaml”中配置项“high-availability.zookeeper.path
同时处于启动中、创建中、删除中、停止中、扩容中、缩容中或滚动重启中等状态的计算实例个数默认最多为10个，超过10个的计算实例运维操作会在后台进入等待状态。若需要修改并发处理个数，可在Manager界面，选择“HetuEngine > 配置 > 全部配置”，搜索并调整参数“hsbroker.event.task
ms的最小值（不包含此值）。 offsets.commit.timeout.ms Offset提交请求的超时时间。单位：毫秒。 5000 Offset提交时被延迟处理的最大超时时间。 replica.socket.timeout.ms 副本数据同步请求的超时时间，配置值不得小于replica.fetch
可根据堆内存使用率、GC时长情况调整。 GC时长较长，可适当调小。 内存使用率高，可适当调小。 flush_proportion 调用刷盘的写内存比例，如果写入负载极高（如批处理=1000），可以降低该值。 仅MRS 3.3.0及之后版本支持该参数。 0.4 可根据堆内存使用率情况调整。如果内存使用率高，可适当调小该参数值。
少。 表8 日志级别 级别 描述 FATAL FATAL表示当前事件处理出现严重错误信息，可能导致系统崩溃。 ERROR ERROR表示当前事件处理出现错误信息，系统运行出错。 WARN WARN表示当前事件处理存在异常信息，但认为是正常范围，不会导致系统出错。 INFO INFO记录系统及各事件正常运行状态信息。
单位：byte。 134217728（即128M） spark.files.openCostInBytes 打开文件的预估成本， 按照同一时间能够扫描的字节数来测量。当一个分区写入多个文件时使用。高估更好，这样小文件分区将比大文件分区更先被调度。 4M 父主题： Spark SQL性能调优
者多个节点执行。Fragments separation表示数据在两个节点之间进行交换。Fragment type表示一个fragment如何被执行以及数据在不同fragment之间怎样分布。 SINGLE Fragment会在单个节点上执行。 HASH Fragment会在固定
表示在RegionServer上启动的RPC侦听器实例数。如果设置过高会导致激烈线程竞争，如果设置过小，请求将会在RegionServer长时间等待，降低处理能力。根据资源情况，适当增加处理线程数。 建议根据CPU的使用情况，可以选择设置为100至300之间的值。 200 hbase.hregion.max.filesize
表示在RegionServer上启动的RPC侦听器实例数。如果设置过高会导致激烈线程竞争，如果设置过小，请求将会在RegionServer长时间等待，降低处理能力。根据资源情况，适当增加处理线程数。 建议根据CPU的使用情况，可以选择设置为100至300之间的值。 200 hbase.hregion.max.filesize
Key封装成一个List<Get>，然后请求这个列表以获取数据的查询方式。该方式能避免每个Row Key都发起一次请求。 HBase单表查询范围扫描优化 HBase单表查询范围扫描优化是指根据HBase的列的谓词条件尝试自动推断rowkey的起止地址，在tableScan的时候设置hbase scan起止地址从而提高访问性能。
at。也可以在“mapred-site.xml”中配置“mapreduce.job.inputformat.class”项。该设置用来指定处理不同格式的数据时需要的InputFormat类，用来读取数据，切分数据块。 setJarByClass(Class< > cls) 核心接
需要短暂停止源集群的ClickHouse业务，具体停止时机请参考操作步骤说明。 搬迁过程中如果源集群表被删除，迁移程序无法自动处理该场景，需要手动进行处理。 迁移整体流程 迁移整体流程和步骤参考如下： 图2 迁移流程图 表1 迁移流程说明 阶段 流程说明 步骤1：源集群和目标集群网络打通
通常所称的ETL（Extraction，Transformation，and Loading）操作。对庞大的数据集查询需要耗费大量的时间去处理，在许多场景下，可以通过建立Hive分区方法减少每一次扫描的总数据量，这种做法可以显著地改善性能。 Hive的分区使用HDFS的子目录功能
_found队列，而不是test21队列。 发生上述情况的原因是，任务未完成时，RM状态存储中存储的还是应用程序移动前的队列状态。唯一的解决办法就是等RM重启后，再次移动应用程序，将新的队列状态信息写入状态存储中。 父主题： Yarn常见问题
_found队列，而不是test21队列。 发生上述情况的原因是，任务未完成时，RM状态存储中存储的还是应用程序移动前的队列状态。唯一的解决办法就是等RM重启后，再次移动应用程序，将新的队列状态信息写入状态存储中。 父主题： Yarn常见问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
