正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
理员需要根据企业安全要求,为Storm业务用户配置独立的密码策略。 如果不为Storm业务用户配置独立的密码策略,在修改业务用户密码以后,可以删除旧的拓扑并重新提交,使拓扑继续运行。 对系统的影响 为Storm业务用户配置独立的密码策略后,此用户将不受Manager界面上的“密码策略”配置影响。
”。 进入该目录,执行du -sh *命令,查看该目录下各文件夹的大小。查看是否存在除“kafka-logs”目录外的其他文件,并判断是否可以删除或者迁移。 是,删除或者迁移相关数据,然后执行8。 否,执行4。 进入“kafka-logs”目录,执行du -sh *命令,选择一个
打开IntelliJ IDEA,在“Quick Start”页面选择“Open or Import”。 另外,针对已使用过的IDEA工具,可以从主界面选择“File > Import project...”导入样例工程。 图6 Open or Import(Quick Start页面)
名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Tez日志列表 日志类型 日志文件名 描述 运行日志 tezui.out TezUI运行环境信息日志 tezui.log TezUI进程的运行日志
Manager首页,单击“租户资源”页面选择上报告警的租户名称,单击“资源”,查看上报告警的租户目录所对应的文件数阈值配置设置是否合理(默认90%为合理值,用户可以根据自己的实际需求调节)。 是,执行5。 否,执行3。 根据该租户该目录文件数的实际使用情况,在“资源”页面单击“修改”修改或取消上报告警的租户目录所对应的文件数阈值配置。
NameNode负荷过高。 处理步骤 查看DataNode是否故障。 在集群节点使用客户端,执行hdfs dfsadmin -report命令,可以查看Dead datanodes项对应的数量显示以及处于故障状态的DataNode信息。 是,执行1.b。 否,执行2.a。 在MRS集群详情页面,单击“组件管理
disable 停止指定的表,例如disable 'test'。 enable 启动指定的表,例如enable 'test'。 alter 更改表结构。可以通过alter命令增加、修改、删除列族信息以及表相关的参数值,例如alter 'test', {NAME => 'f3', METHOD =>
例如,每天将数据加载到CarbonData,start_time是每次加载的增量。对于这种情况,建议将start_time列放在sort_columns的最后,因为总是递增的值可以始终使用最小/最大索引。创建表命令如下: create table carbondata_table( Dime_1 String
务的用户名。 kinit exampleUser 普通模式,执行5。 配置Hue。 Spark2x环境配置(如果不涉及spark2x任务,可以跳过此步骤): hdfs dfs -put /opt/client/Spark2x/spark/jars/*.jar /user/oozi
日志归档规则:ZooKeeper的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过30MB的时候,会自动压缩。最多保留20个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 ZooKeeper日志列表 日志类型 日志文件名 描述 运行日志 zookeeper-<SSH_USE
[root@xxxxx ~]# cat /proc/sys/net/ipv4/neigh/default/gc_thresh* 512 2048 4096 还可以将以下参数添加到“/etc/sysctl.conf”中,即使主机重启,配置依然能生效。 net.ipv4.neigh.default.gc_thresh1
登录故障节点所在主机,执行以下命令切换root用户。 sudo su - root 执行ping Flume Sink配置的IP地址命令查看对端主机是否可以ping通。 是,执行3。 否,执行2.d。 联系网络管理员恢复网络。 等待一段时间后,在告警列表中,查看告警是否清除。 是,处理完毕。 否,
“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 Flume日志列表 日志类型 日志文件名 描述 运行日志 /flume/flumeServer.log
例如,每天将数据加载到CarbonData,start_time是每次加载的增量。对于这种情况,建议将start_time列放在sort_columns的最后,因为总是递增的值可以始终使用最小/最大索引。创建表命令如下: create table carbondata_table( Dime_1 String
stop()和不添加的区别 合理规划AM资源占比 任务数量较多且每个任务占用的资源较少时,可能会出现集群资源足够,提交的任务成功但是无法启动,此时可以提高AM的最大资源占比。 图2 修改AM最大资源百分比 父主题: Spark应用开发规范
其他服务。 合理使用数据表的分区字段和索引字段 MergeTree引擎,数据是以分区目录的形式进行组织存储的,在进行的数据查询时,使用分区可以有效跳过无用的数据文件,减少数据的读取。 MergeTree引擎会根据索引字段进行数据排序,并且根据index_granularity的配
日志归档规则:ZooKeeper的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过30MB的时候,会自动压缩。最多保留20个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 ZooKeeper日志列表 日志类型 日志文件名 描述 运行日志 zookeeper-<SSH_USE
置“ssl.mode.enable”为“true”,来启动SSL和SASL_SSL两种协议类型的访问监测。下表是四种协议类型的简单说明: 可以参考修改集群服务配置参数进入Kafka全部配置页面,查看或配置参数。 协议类型 说明 默认端口 PLAINTEXT 支持无认证的明文访问。
0MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>.[编号].gz”。默认最多保留最近的10个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 ClickHouse日志列表 日志类型 日志文件名 描述 运行日志 /var/log/Bigdata/
如果集群采用安全版本,要进行安全认证。 执行kinit hdfs命令,按提示输入密码(向MRS集群管理员获取密码)。 执行如下命令,检查发出告警的目录下的文件或目录是否是可以删除的无用文件。 hdfs dfs -ls 产生告警的目录路径 是,执行3。 否,执行5。 执行如下命令。删除无用的文件。 hdfs dfs