检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
联系集群管理员增加各用户的句柄数。该配置为操作系统的配置，并非HBase或者HDFS的配置。建议集群管理员根据HBase和HDFS的业务量及各操作系统用户的权限进行句柄数设置。如果某一个用户需对业务量很大的HDFS进行很频繁且很多的操作，则为此用户设置较大的句柄数，避免出现以上错误。 使用ro
个线程循环的从该队列中依次拿出一个事件，然后发送给各个Listener，每个Listener感知到事件后就会做各自的处理。 因此当队列存放的速度大于获取的速度时，就会导致队列溢出，从而丢失了溢出的事件，影响了UI、EventLog、动态资源调度等功能。所以为了更灵活的使用，在这边
创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。
参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive堆内存使用率过高，会影响Hive任务运行的性能，甚至造成内存溢出导致Hive服务不可用。
检测Yarn内存使用情况 配置场景 针对所提交应用的内存使用无法预估的情况，可以通过修改服务端的配置项控制是否对内存使用进行检测。 如果不检测内存使用，Container会占用内存直到内存溢出；如果检测内存使用，当内存使用超过配置的内存大小时，相应的Container会被kill掉。 配置描述
检测Yarn内存使用情况 配置场景 针对所提交应用的内存使用无法预估的情况，可以通过修改服务端的配置项控制是否对内存使用进行检测。 若不检测内存使用，Container会占用内存直到内存溢出；若检测内存使用，当内存使用超过配置的内存大小时，相应的Container会被kill掉。 配置描述
创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。
Shuffle阶段是MapReduce性能的关键部分，包括了从Map task将中间数据写到磁盘一直到Reduce task拷贝数据并最终放到reduce函数的全部过程。这部分Hadoop提供了大量的调优参数。 图1 Shuffle过程 操作步骤 Map阶段的调优 判断Map使用的内存大小 判断Map分配的内存是否
执行Spark任务就会报内存不足告警，告警id：18022，可用内存会陡降到0。 处理步骤 在SQL脚本前设置executor参数，限制executor的核数和内存。 例如设置如下： set hive.execution.engine=spark; set spark.executor
DataNode以Block的形式，保存用户的文件和目录，同时在NameNode中生成一个文件对象，对应DataNode中每个文件、目录和Block。 NameNode文件对象需要占用一定的内存，消耗内存大小随文件对象的生成而线性递增。DataNode实际保存的文件和目录越多，Name
创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要
设备上。但在逻辑上，一列数据可以看成是由相同类型的元素构成的一个数组， 一行数据的所有列值在各自的数组中按照列顺序排列，即拥有相同的数组下标。数组下标是隐式的，不需要存储。表中所有的行按照维度列，做多重排序，排序后的位置就是该行的行号。 索引 StarRocks通过前缀索引 (Prefix
说明 --connect 指定JDBC连接的URL，格式为：jdbc:mysql://MySQL数据库IP地址:MySQL的端口/数据库名称。 --username 连接MySQL数据库的用户名。 -password 连接MySQL数据库的用户密码。命令中如果携带认证密码信息可能存
说明 --connect 指定JDBC连接的URL，格式为：jdbc:mysql://MySQL数据库IP地址:MySQL的端口/数据库名称。 --username 连接MySQL数据库的用户名。 -password 连接MySQL数据库的用户密码。命令中如果携带认证密码信息可能存
SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。 针对小文件很多的场景，DataSour
的分布在各个节点。增加任务的并行度，充分利用集群机器的计算能力，一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数，优先级最高。
在执行SQL语句前，执行如下命令。注意执行前保证集群有足够内存可以设置。 SET max_memory_usage = 128000000000; #128G 如果没有上述大小内存可用，ClickHouse可以通过如下设置将“溢出”数据到磁盘。建议将max_memory_usage设置为max_bytes_befo
如何设置开源Flink中的znode存储目录 问题现象 如何将开源Flink中的znode存储目录设置为自定义目录。 解决方法 如设置目录为/flink_base/flink，在flink-conf.yaml配置文件中将“high-availability.zookeeper.path
Hue WebUI中Oozie编辑器的时区设置问题 问题 在Hue设置Oozie工作流调度器的时区时，部分时区设置会导致任务提交失败。 回答 部分时区存在适配问题，建议时区选择“Asia/Shanghai”，如图1所示。 图1 时区选择 支持的时区可以参考Oozie WebUI页
ALM-13005 ZooKeeper中组件顶层目录的配额设置失败 告警解释 系统每5小时周期性为组件和“customized.quota”配置项中的每个ZooKeeper顶层目录设置配额，当设置某个目录的配额失败时，会产生该告警。 当设置失败的目录重新设置配额成功时，告警恢复。 告警属性 告警ID
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
