检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该Broker正常提供读写服务。 可能原因 该节点Kafka实例直接内存使用率过大,或配置的直接内存大小不合理,导致使用率超过阈值。 处理步骤 检查Kafka实例直接内存使用率。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警 > Kafka直接内存使用率超过阈值
对系统的影响 直接内存溢出可能导致服务崩溃。 可能原因 节点UserSync实例直接内存使用率过大,或配置的直接内存不合理,导致使用率超过阈值。 处理步骤 检查直接内存使用率。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警 > ALM-45282 User
直接内存溢出可能导致服务崩溃。 可能原因 节点PolicySync实例直接内存使用率过大,或配置的直接内存不合理,导致使用率超过阈值。 处理步骤 检查直接内存使用率。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警 > ALM-45290 Poli
导致PolicySync响应缓慢。 可能原因 该节点PolicySync实例堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警 > ALM-45292 PolicyS
e进程数据读写性能下降,甚至造成内存溢出导致ConfigNode进程重启。 可能原因 该节点配置的堆内存不合理,导致使用率超过阈值。 处理步骤 检查堆内存配置。 在FusionInsight Manager页面,选择“运维 > 告警 > 告警”,在实时告警列表中,单击此告警前的,
“RATE”:使用按空闲Slot比率为优先级的调度机制 AVERAGE nimbus.thrift.threads 设置主用Nimbus对外提供服务时的最大连接线程数。当Storm集群规模较大,Supervisor实例数量较多时,需要增加线程数。 512 父主题: 使用Storm
仅有一个该属性文件。 keytab文件 存放用户信息的密钥文件。在安全模式下,应用程序采用此密钥文件进行API方式认证。 Client 客户端直接面向用户,可通过Java API、Shell API、 REST API或者Web UI访问Oozie服务端。 父主题: Oozie开发指南(普通模式)
可以设置保留多少天以内的归档文件,默认值30(天)。 注意事项 归档文件,没有备份,删除之后无法恢复。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi DML语法说明
call clean_data(table => 'mytable', sql=>'delete cleanData') 系统响应 可在客户端中查看查询结果。 父主题: Hudi数据管理维护
规避措施: 当出现上述问题时,用户可以通过关闭钨丝计划,关闭使用codegen的方式来生成Java代码的功能,从而确保语句的正常执行。即在客户端的“spark-defaults.conf”配置文件中将“spark.sql.codegen.wholeStage”配置为“false”。
roup在每个AZ下都存在RegionServer实例的规则。 本章节内容仅适用于MRS 3.1.2及之后版本。 前提条件 已登录Manager。 登录角色拥有Manager管理员权限。 将RSGroup最小节点数设置为下述三种情况的最大值。 为了保证服务的可靠性,RSGroup
follower与leader进行同步的时间间隔(时长为ticket时长的倍数)。如果在该时间范围内leader没响应,连接将不能被建立。 15 initLimit follower连接到leader并与leader同步的时间(时长为ticket时长的倍数)。 15 如果将参数“initLim
examples.MyRegistrator") val sc = new SparkContext(conf) // 建立连接hbase的配置参数,此时需要保证hbase-site.xml在classpath中 val hbConf = HBaseConfiguration
gc等问题。 所以为了在小内存模式下能加载较大日志文件,需要对大应用开启日志滚动功能。一般情况下,长时间运行的应用建议打开该功能。 配置参数 登录FusionInsight Manager系统,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。 参数
用1 GB磁盘,释放多余预约的空间。 该异常通常是因为业务写文件的并发量太高,预约写Block的磁盘空间不足,导致写文件失败。 解决办法 登录HDFS的WebUI页面,进入DataNode的JMX页面。 在HDFS原生界面,选择Datanodes页面。 找到对应的DataNode节点,单击Http
络是否正常,是否存在其它进程占用节点内存资源。 Worker节点负载太高或出现GC: 使用可访问HetuEngine WebUI界面的用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。 单击“概
过滤条件中的字段大小写要与FlinkSQL中字段大小写一致。 该特性不支持Hive视图表。 配置FlinkSQL行过滤流程 配置FlinkServer自定义参数。 登录FusionInsight Manager。 选择“集群 > 服务 > Flink > 配置 > 全部配置 > FlinkServer(角色)
gc等问题。 所以为了在小内存模式下能加载较大日志文件,需要对大应用开启日志滚动功能。一般情况下,长时间运行的应用建议打开该功能。 配置参数 登录FusionInsight Manager系统,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。 参数
Metadata组件提供元数据服务。 Hive与Spark的关系 Hive支持使用Spark作为执行引擎,当执行引擎切换为Spark后,客户端下发的Hive SQL在Hive端进行逻辑层处理和生成物理执行计划,并将执行计划转换成RDD语义下的DAG,最后将DAG作为Spark的任
com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Doris相关样例工程: 表1 Doris相关样例工程 样例工程位置 描述