检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
-rate策略。因为fixed-delay策略可能会因为网络、内存等硬件故障导致用户作业失败次数达到最大重试次数，从而导致作业失败。 为了防止在failure-rate策略下的无限重启，推荐如下参数配置： restart-strategy: failure-rate restart-strategy
*\.db,(hdfs|obs|viewfs)://[\w|\-|\.]+/user/hive/warehouse/.*\.db"，从而实现防止建表和建库等操作时location指向已经存在的库的路径。 升级HDFS上组件的zip包 登录集群主节点并执行以下命令： su - omm
全局二级索引的创建需要指定索引列、覆盖列（可选）、索引表预分区（可选，建议指定）。 在已有存量数据的表上创建全局二级索引，需要创建索引预分区，防止索引表出现热点，索引表数据的rowkey由索引列构成，并且包含分隔符，格式为“\x01索引值\x00”，因此预分区需要指定成对应格式，例如
全局二级索引的创建需要指定索引列、覆盖列（可选）、索引表预分区（可选，建议指定）。 在已有存量数据的表上创建全局二级索引，需要创建索引预分区，防止索引表出现热点，索引表数据的rowkey由索引列构成，并且包含分隔符，格式为“\x01索引值\x00”，因此预分区需要指定成对应格式，例如
在新的Blacklisting DFSClient failover provider中，故障的NameNode将被记录至一个列表中。DFSClient会利用这些信息，防止客户端再次连接这些NameNode。该功能被称为NameNode blacklisting。 例如，如下集群配置： NameNode：nn1、nn2
如果未指定列数据类型，则使用默认数据类型（字符串）。 “＃”用于在两个索引详细信息之间进行分隔。 以下是一个可选参数： -Dscan.caching：在扫描数据表时的缓存行数。 如果不设置该参数，则默认值为1000。 为单个Region构建索引是为了修复损坏的索引。 此功能不应用于生成新索引。
定时进行小文件合并，减少单表的文件数量，提升元数据加载速率 Impala元数据和分区、文件数量正相关，太多分区会导致Impala元数据占用内存过大，刷新元数据时需要扫描的分区文件就越多，极大地降低查询效率。 建表时存储类型建议选择orc或者parquet orc和parquet是列式存储格式，读取效率更高
如果未指定列数据类型，则使用默认数据类型（字符串）。 “＃”用于在两个索引详细信息之间进行分隔。 以下是一个可选参数： -Dscan.caching：在扫描数据表时的缓存行数。 如果不设置该参数，则默认值为1000。 为单个Region构建索引是为了修复损坏的索引，此功能不应用于生成新索引。 创建HBase
2.x版本支持），并且使用PreparedStatement查询。 亿级以上表数据查询必须设置分区分桶条件。 禁止对分区表执行全分区数据扫描操作。 Doris数据查询建议 一次insert into select数据超过1亿条后，建议拆分为多个insert into select语句执行，分成多个批次来执行。
MRS集群管理员已明确业务需求，并创建好“人机”用户，例如“testpol”。 操作步骤 以“omm”用户登录集群内任意节点。 执行以下命令，防止超时退出。 TMOUT=0 执行完本章节操作后，请及时恢复超时退出时间，执行命令TMOUT=超时退出时间。例如：TMOUT=600，表示用户无操作600秒后超时退出。
须为supergroup组，且执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 增大客户端的JVM大小，防止OOM，方法如下。（1亿文件建议32G） 若执行HDFS客户端命令时，客户端程序异常退出，并且报“java.lang.OutOfMomeryError”错误。
须为supergroup组，且执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 增大客户端的JVM大小，防止OOM，方法如下。（1亿文件建议32G） 若执行HDFS客户端命令时，客户端程序异常退出，并且报“java.lang.OutOfMomeryError”错误。
果说明端口已经开放，否则说明端口被防火墙禁用。 是，执行13。 否，执行16。 执行命令iptables -P INPUT ACCEPT，防止与服务器断开。 清除防火墙。 iptables -F 查看告警列表中，该告警是否已清除。 是，处理完毕。 否，执行16。 收集故障信息。 在FusionInsight
COLUMNS] [NOSCAN]; 指定FOR COLUMNS时，收集列级别的统计信息。 指定NOSCAN时，将只统计文件大小和个数，不扫描具体文件。 例如： analyze table table_name compute statistics; analyze table table_name
规则：缩容后集群slot数足够运行当前已提交的任务。 原因：防止缩容后没有充足的资源运行流处理任务。 Flume/FlumeServer 规则：节点安装了FlumeServer，并且已经配置了Flume任务，则该节点不能删除。 原因：防止误删了已部署的业务程序。 ClickHouse/ClickHouseServer
COLUMNS] [NOSCAN]; 指定FOR COLUMNS时，收集列级别的统计信息。 指定NOSCAN时，将只统计文件大小和个数，不扫描具体文件。 例如： analyze table table_name compute statistics; analyze table table_name
普通模式：authentication Web最大并发连接数限制 为了保护Web服务器的可靠性，当访问的用户连接数达到一定数量之后，对新增用户的连接进行限制。防止大量同时登录和访问，导致服务不可用，同时避免DDOS攻击。 参数修改入口：在FusionInsight Manager系统中，选择“集群 >
max_memory_usage_for_all_queries 单台服务器上所有查询的内存使用量，默认没有限制。建议根据机器的总内存，预留一部分空间，防止内存不够导致服务或者机器异常。 0 机器总内存的80% 否 max_memory_usage 单个查询在单台服务器的能使用的最大内存。 10G
及无法删除问题。 解决Hudi filegroup下只有一个4bytes文件时，Hudi读写报错的问题。 解决CDL定时线程增加异常保护，防止线程异常，告警不上报的问题。 解决CDL解密环境变量冲突，导致升级时hudi源任务运行失败的问题。 解决删除CDL作业后，数据库表CDC_
与Superior调度器之间来回切换。 约束与限制 当前操作仅适用于集群新发放，需切换调度器场景。 切换调度器期间，请勿对该集群执行操作，防止由于切换过程中修改数据库导致操作失败。 对系统的影响 切换调度器过程中，由于要重启Resource Manager，因此切换期间向Yarn提交任务会失败。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
