检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
删除大量文件后重启NameNode耗时长 问题 删除大量文件之后立刻重启NameNode（例如删除100万个文件），NameNode启动慢。 回答 由于在删除了大量文件之后，DataNode需要时间去删除对应的Block。当立刻重启NameNode时，NameNode会去检查所有
ALM-45654 Flink HA证书文件即将过期 本章节适用于MRS 3.3.0及以后版本。 告警解释 Flink首次或者每天01:00:00开始健康检查时，检查当前系统中的HA证书文件是否即将过期。如果剩余有效期小于或等于30天，产生该告警。剩余有效期大于30天，告警恢复。
的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 准备依赖的Jar包和配置文件。 在Linux环境新建目录，例如“/opt/test”，并创建子目录“lib”和“src/main/resources/”。将样例工程中“lib”文件夹下的Jar
删除大量文件后重启NameNode耗时长 问题 删除大量文件之后立刻重启NameNode（例如删除100万个文件），NameNode启动慢。 回答 由于在删除了大量文件之后，DataNode需要时间去删除对应的Block。当立刻重启NameNode时，NameNode会去检查所有
所需的日志级别或修改日志文件大小。日志文件大小需填写单位“MB”。 系统会根据配置的日志大小自动清理日志，如果需要保存更多的信息请设置一个较大的数值。为确保日志文件的完整性，建议根据实际业务量大小，在日志文件基于规则清理前，手动将日志文件备份存储至其他文件夹中。 个别服务不支持通过界面修改日志级别。
ALM-24012 Flume证书文件已过期 本章节适用于MRS 3.2.0及以后版本。 告警解释 Flume每隔一个小时，检查当前系统中的证书文件是否已过期。如果服务端证书已过期，产生该告警。服务的证书文件恢复到有效期内，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 24012
Manager首页，选择“运维 > 告警 > 告警 > ALM-45655 Flink HA证书文件已过期 > 定位信息”，查看告警上报的主机名，单击“主机”，查看主机名对应的IP地址。 检查系统中合法HA证书文件的有效期，重新生成HA证书文件。 以omm用户登录告警所在节点主机。 执行命令cd ${BIGD
HDFS HTTP REST API接口介绍 功能简介 REST应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请参考官网上的描述以了解其使用： http://hadoop.apache.org/docs/r3.1.1/hadoo
ALM-24011 Flume证书文件即将过期 本章节适用于MRS 3.2.0及以后版本。 告警解释 Flume每隔一个小时，检查当前Flume证书文件是否即将过期，如果剩余有效期小于或等于30天，产生该告警。证书文件剩余有效期大于30天，告警恢复。 告警属性 告警ID 告警级别
java的构造方法）添加如下代码： //truststore文件地址 props.put("ssl.truststore.location", System.getProperty("user.dir") + File.separator + "conf" + File.separator + "truststore
原因分析 HDFS写文件的预约机制：无论文件是10 MB还是1 GB，开始写的每个块都会被预约128 MB。如果需要写入一个10 MB的文件，HDFS会预约一个块来写，当文件写完后，这个块只占实际大小10 MB，释放多余预约的118 MB空间。如果需要写入一个1 GB的文件，HDFS还是
[FOR COLUMNS] [NOSCAN]; 指定FOR COLUMNS时，收集列级别的统计信息。 指定NOSCAN时，将只统计文件大小和个数，不扫描具体文件。 例如： analyze table table_name compute statistics; analyze table
tate，在RocksDB中作为N条记录存储，这样做的好处是当进行查询或者修改可以只序列化一小部分数据，当将map作为整体存储时每次增删改都会产生很大的序列化开销。对于List数据，使用ListState可以无需序列化动态添加元素。 另外Flink中的State支持设置TTL，T
Counters: 49 File System Counters FILE: Number of bytes read=75 FILE: Number of bytes written=436979 FILE: Number of read operations=0 FILE: Number
因不同版本操作界面可能存在差异，相关视频供参考，具体以实际环境为准。 前提条件 用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。 如果作业程序需要读取以及分析OBS文件系统中的数据，需要先配置MRS集群的存算分离，请参考配置MRS集群存算分离。 通过管理控制台提交作业 登录MRS管理控制台。
columnCount; i++) { System.out.print(resultMetaData.getColumnLabel(i) + '\t'); } System.out.println();
用。运行过程中依赖客户端已配置好的环境变量、运行依赖包和配置文件， 在Spark应用程序运行节点，执行如下命令使用Spark Launcher方式提交。之后，可通过Spark WebUI查看运行情况，或通过获取指定文件查看运行结果，可参见在Linux环境中查看Spark程序调测结果。
Hive基本原理 Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。Hive的数
对系统的影响 业务失败：主机文件句柄使用率超过阈值时，系统应用无法打开文件、网络等IO操作，程序异常，可能会导致作业运行失败。 可能原因 应用进程存在异常，如打开的文件或socket没有关闭。 文件句柄数不满足当前业务需求。 系统环境异常。 处理步骤 查看进程打开文件情况。 打开FusionInsight
ALM-24010 Flume证书文件非法或已损坏 本章节适用于MRS 3.2.0及以后版本。 告警解释 Flume每隔一个小时，检查当前Flume证书文件是否合法（证书是否存在，证书格式是否正确），如果证书文件非法或已损坏，产生该告警。证书文件恢复合法时，告警恢复。 告警属性 告警ID
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
