检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-27007 数据库进入只读模式 告警解释 系统每30秒周期性检查DBServer主节点的数据目录磁盘空间使用率,当数据目录磁盘空间使用率超过90%时,系统将产生此告警。 当数据目录磁盘空间使用率低于80%时,此告警恢复。 告警属性 告警ID 告警级别 是否自动清除 27007
日志文件 ,具体hdfs路径为“/tmp/logs/{submit_user}/logs/{application_id}”。 提交作业后,在Yarn的WEB UI未找到对应作业的application_id,说明该作业没有提交成功,可登录集群主Master节点,查看提交作业进程
作业编号”applicationID。 图2 作业详情 在集群详情页选择“组件管理 > Yarn > ResourceManager WebUI > ResourceManager (主)”进去Yarn的原生界面,单击applicationID。 图3 Yarn的Applications
因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。 前提条件 用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。 如果作业程序需要读取以及分析OBS文件系统中的数据,需要先配置MRS集群的存算分离,请参考配置MRS集群存算分离。 通过管理控制台提交作业 登录MRS管理控制台。
containing: (word,1) //this is done by a bolt that is wrapped accordingly .transform("CountBolt",
Integer 参数解释: 节点系统盘大小,不可配置,默认为40GB。 取值范围: 不涉及 RootVolumeProductId String 参数解释: 节点系统盘的产品ID。 取值范围: 不涉及 RootVolumeType String 参数解释: 节点系统盘的类型。 取值范围: 不涉及
regexp_position('I have 23 apples, 5 pears and 13 oranges', '\b\d+\b', 5); -- 8 SELECT regexp_position('I have 23 apples, 5 pears and 13 oranges'
解决Spark jobhistory偶现无法显示application列表问题 MRS 1.9.0.3 修复问题列表: MRS Manager MRS Manager升级ARM JDK MRS Manager解决Core节点日志撑满系统盘问题 MRS大数据组件 解决Ranger日志不能设置个数,有撑满磁盘风险的问题
call(SequenceFileWriterToolChannel.java:792) at java.util.concurrent.FutureTask.run(FutureTask.java:262) at java.util.concurrent.ThreadPoolExecutor.ru
修改“/opt/Bigdata/om-server_xxx/apache-tomcat-8.5.63/webapps/cas/WEB-INF/classes/config/application.properties”文件,在文件中新增配置“ticket.tgt.timeToKill
</property> 对于依赖HDFS的MR配置中,需要使用已挂载的目录。 错误示例: <property> <name>yarn.app.mapreduce.am.staging-dir</name> <value>/tmp/hadoop-yarn/staging</value>
调整Zookeeper配置:登录FusionInsight Manager界面,选择“集群 > Zookeeper > 配置 > 全部配置 > quorumpeer > 系统”,修改参数“GC_OPTS”的值,保存配置,滚动重启Zookeeper服务,如下表所示 配置项 参考值 描述 GC_OPTS Xmx最大内存数参考值:(
调整Zookeeper配置:登录FusionInsight Manager界面,选择“集群 > Zookeeper > 配置 > 全部配置 > quorumpeer > 系统”,修改参数“GC_OPTS”的值,保存配置,滚动重启Zookeeper服务,如下表所示 配置项 参考值 描述 GC_OPTS Xmx最大内存数参考值:(
apache.hadoop.io.compress.DeflateCodec org.apache.hadoop.io.compress.SnappyCodec org.apache.hadoop.io.compress.GzipCodec 如需要全局设置,即对所有表都进行压缩,可以在
</property> 对于依赖HDFS的MR配置中,需要使用已挂载的目录。 错误示例: <property> <name>yarn.app.mapreduce.am.staging-dir</name> <value>/tmp/hadoop-yarn/staging</value>
lect_upload.properties”。文件存储路径为“${BIGDATA_HOME}/om-server/tomcat/webapps/web/WEB-INF/classes/config”。 ./setNorthBound.sh -t audit -i 10.0.0.10
String 参数解释: 镜像ID。 取值范围: 不涉及 status String 参数解释: 版本状态。 取值范围: 不涉及 features Array of strings 参数解释: 特性列表。 cluster_types Array of strings 参数解释: 集群类型列表。
ALM-27005 数据库连接数使用率超过阈值 告警解释 系统每30秒周期性检查DBServer节点的数据库连接数使用率,并把实际数据库连接数使用率和阈值相比较,当数据库连接数的使用率连续5次(可配置,默认值为5)超过设定阈值时,系统将产生此告警,数据库连接数使用率的阈值设为90%(可配置,默认值为90%)。
TableName Mapping Hudi表名称,如果不设置,则默认与源表名相同。 - Hudi表属性配置-Hive TableName Mapping Hudi表同步到Hive的表名映射关系,自定义表名。 - Hudi表属性配置-Table Primarykey Mapping Hudi表的主键对应关系。
schema_name 描述 DATABASE和SCHEMA在此处是等价的,可互换的,它们有这相同的含义。 该语法用于显示SCHEMA的名称、注释、还有它在文件系统上的根路径。 可选项EXTENDED可以用来显示SCHEMA的数据库属性。 示例 CREATE SCHEMA web; DESCRIBE