检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选“NodeAgent”,单击“确定”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
while (it.hasNext) { val c = it.next() // 判断cf和qualifile是否相同 if (columnFamily.equals(Bytes.toString(CellUtil
读写权限)。 该指定目录需要与之前“job.properties”中定义的“oozie.coord.application.path”属性和“workflowAppUri”属性的值保持一致。 执行流程文件。 登录客户端节点,使用developuser用户进行Kerberos认证。
Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Kafka”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
查看作业TaskManager监控日志(搜索标识:RocksDBMetricPrint)中参数“rocksdb.block.cache.hit”(cache命中)和“rocksdb.block.cache.miss”(cache未命中)的值,通过如下公式计算命中率是否少于60%。 缓存命中率公式:rocksdb
tar”为例进行描述。 上传软件包。以user用户将软件包上传到将要安装Flume服务客户端的节点目录上,例如“/opt/client” user用户为安装和运行Flume客户端的用户。 解压软件包。 以user用户登录将要安装Flume服务客户端的节点。进入安装包所在目录,例如“/opt/cli
Manager首页,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“HDFS”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后20分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
worker.config.properties “retry-policy”设置为“TASK”时可配置该参数,不配置默认为5GB。节点会根据可用内存和估计的内存使用情况分配任务。 用于初始任务分配节点时的内存需求估计。值越大表明每个TASK预估使用的内存更大,但会导致集群并发能力变小,可根据实际业务情况动态调整。
结果压缩类,默认不使用压缩。也可以在“mapred-site.xml”中配置“mapreduce.map.output.compress”和“mapreduce.map.output.compress.codec”项。当map的输出数据大,减少网络压力,使用压缩传输中间数据。 s
RocksDB的Compaction压力过大,同时会存在“ALM-45646 RocksDB的Pending Compaction持续超过阈值”和“ALM-45647 RocksDB的Pending Compaction预估总大小持续超过阈值”告警。 Level0层SST文件数过多。 处理步骤
修改主机机架名称,将影响HDFS的副本存放策略、Yarn的任务分配及Kafka的Partition存储位置。修改后需重启HDFS、Yarn和Kafka,使配置信息生效。 不合理的机架配置会导致集群的节点之间的负载(包括CPU、内存、磁盘、网络)不平衡,降低集群的可靠性,影响集群的
为空意义相同),为0表示不可挂起任务。取值范围为-1~2147483647。 资源分配规则 表示单个用户任务间的资源分配规则,包括FIFO和FAIR。 一个用户如果在当前队列上提交了多个任务,FIFO规则代表一个任务完成后再执行其他任务,按顺序执行。FAIR规则代表各个任务同时获取到资源并平均分配资源。
第2个收费站,通过的第6个收费站),(通过的第1个收费站,通过的第7个收费站),(通过的第3个收费站,通过的第8个收费站)] 如果车牌号1和车牌号2通过相同收费站是顺序排列的(比如收费站3、4、5是车牌1通过的第1、2、3个收费站,是车牌2通过的第6、7、8个收费站)且数量大于同行车要求的数量则这两辆车是同行车。
一次,最多保留100个文件,压缩存储。 JDBCServer2x审计日志默认20MB滚动存储一次,最多保留20个文件,压缩存储。 日志大小和压缩文件保留个数可以在FusionInsight Manager界面中配置。 表1 Spark2x日志列表 日志类型 日志文件名 描述 SparkResource2x日志
第2个收费站,通过的第6个收费站),(通过的第1个收费站,通过的第7个收费站),(通过的第3个收费站,通过的第8个收费站)] 如果车牌号1和车牌号2通过相同收费站是顺序排列的(比如收费站3、4、5是车牌1通过的第1、2、3个收费站,是车牌2通过的第6、7、8个收费站)且数量大于同行车要求的数量则这两辆车是同行车。
结果压缩类,默认不使用压缩。也可以在“mapred-site.xml”中配置“mapreduce.map.output.compress”和“mapreduce.map.output.compress.codec”项。当map的输出数据大,减少网络压力,使用压缩传输中间数据。 s
一次,最多保留100个文件,压缩存储。 JDBCServer2x审计日志默认20MB滚动存储一次,最多保留20个文件,压缩存储。 日志大小和压缩文件保留个数可以在FusionInsight Manager界面中配置。 表1 Spark2x日志列表 日志类型 日志文件名 描述 SparkResource2x日志
结果压缩类,默认不使用压缩。也可以在“mapred-site.xml”中配置“mapreduce.map.output.compress”和“mapreduce.map.output.compress.codec”项。当map的输出数据大,减少网络压力,使用压缩传输中间数据。 s
第2个收费站,通过的第6个收费站),(通过的第1个收费站,通过的第7个收费站),(通过的第3个收费站,通过的第8个收费站)] 如果车牌号1和车牌号2通过相同收费站是顺序排列的(比如收费站3、4、5是车牌1通过的第1、2、3个收费站,是车牌2通过的第6、7、8个收费站)且数量大于同行车要求的数量则这两辆车是同行车。
结果压缩类,默认不使用压缩。也可以在“mapred-site.xml”中配置“mapreduce.map.output.compress”和“mapreduce.map.output.compress.codec”项。当map的输出数据大,减少网络压力,使用压缩传输中间数据。 s