检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群中Kerberos提供组件用户安全认证功能,其服务名称为KrbServer,包含两种角色实例: KerberosServer:认证服务器,为MRS提供安全认证使用。 KerberosAdmin:管理Kerberos用户的进程。 Ldap 在OMS与集群中各部署一个。 OMS Ldap为用户认证提供数据存储。
Flume的可用性则基于内建的Load Balancing和Failover机制。Channel及Agent都可以配多个实体,实体之间可以使用负载分担等策略。每个Agent为一个JVM进程,同一台服务器可以有多个Agent。收集节点(Agent1,2,3)负责处理日志,汇聚节点(
检查HQL命令是否符合语法。 在FusionInsight Manager界面选择“运维 > 告警”,查看告警详情,获取产生告警的节点信息。 使用Hive客户端连接到产生该告警的HiveServer节点,查询Apache提供的HQL语法规范,确认输入的命令是否正确。详情请参见https://cwiki
详细信息,如图所示: 查看队列详情中“Used Resources”是否近似等于“Max Resources”,即任务提交的队列中资源已经使用完毕,若队列资源不足,请在FusionInsight Manager的“租户资源 > 动态资源计划 > 资源分布策略”中调大队列的“最大资
加了查询SQL、JDBC Server和Streaming的信息的REST接口。开源REST接口完整和详细的描述请参考官网上的文档以了解其使用方法:https://archive.apache.org/dist/spark/docs/3.3.1/monitoring.html#rest-api。
udfState.getState(); } } 应用代码 该段代码是流图定义代码,具体实现业务流程,另外,代码中窗口的触发时间使用了processing time。 import org.apache.flink.runtime.state.filesystem.FsStateBackend;
udfState.getState(); } } 应用代码 该段代码是流图定义代码,具体实现业务流程,另外,代码中窗口的触发时间使用了processing time。 import org.apache.flink.runtime.state.filesystem.FsStateBackend;
Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 证书文件即将过期,如果证书文件过期失效,对应模块功能受限,无法正常使用。 可能原因 系统证书文件(CA证书、HA根证书、HA用户证书、Gaussdb根证书或者Gaussdb用户证书等)剩余有效期小于30天。 处理步骤
ResourceManager进程的垃圾回收时间过长,可能影响该ResourceManager进程正常提供服务。 可能原因 该节点ResourceManager实例堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight Manager首页,选择“运维 >
value):ShenZhen、Longgang 用户可以执行以下数据操作: 获取每天的监控数据,通过OpenTSDB的put接口将两个组数据点写入数据库中。 对已有的数据使用OpenTSDB的query接口进行数据查询和分析。 功能分解 根据上述的业务场景进行功能开发,需要开发的功能如表4所示。 表4 在OpenTSDB中开发的功能
udfState.getState(); } } 应用代码 该段代码是流图定义代码,具体实现业务流程,另外,代码中窗口的触发时间使用了processing time。 import org.apache.flink.runtime.state.filesystem.FsStateBackend;
HA主备倒换的状态转移过程 JobHistoryServer高可用性 采用ZooKeeper实现主备选举和倒换。 JobHistoryServer使用浮动IP对外提供服务。 兼容JHS单实例,也支持HA双实例。 同一时刻,只有一个节点启动JHS进程,防止多个JHS操作同一文件冲突。 支持扩容减容、实例迁移、升级、健康检查等。
请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 节点互信异常处理方法如下: 本操作需使用omm用户执行。 如果节点间网络不通,请先解决网络不通的问题,可以检查两个节点是否在同一个安全组,是否有设置hosts.deny、hosts
bigdata_env。如果集群采用安全版本,要进行安全认证,执行kinit hdfs命令,按提示输入密码(向MRS集群管理员获取密码)。如果集群采用非安全版本,需使用omm用户登录并执行命令,请确保omm用户具有客户端执行权限。 执行hdfs dfsadmin -safemode leave。 在“运维
keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:sparkuser,需要修改为准备好的开发用户。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。
xml”、“hdfs-site.xml”。获取Yarn客户端配置文件(下载路径/Yarn/config)中的“core-site.xml”。 用于替换原有代码的中的使用的配置文件。 分别在HDFS和Yarn的“core-site.xml”文件中增加访问OBS的信息,具体如下: <property> <name>fs
该用户属于hive、hadoop、supergroup组,主组为hive,角色绑定sparkstatic1。 配置Spark SQL防御使用约束 防御规则默认动态生效时间为6分钟。 仅支持SQL类型作业。 拦截和熔断规则会中断SQL查询,请根据实际业务配置合理的值。 静态规则s
collector.collect(total); } } 应用代码 该段代码是流图定义代码,具体实现业务流程,另外,代码中窗口的触发时间使用了processing time。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:sparkuser,需要修改为准备好的开发用户。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。
total = udfState.getState } } 应用代码 该段代码是流图定义代码,具体实现业务流程,另外,代码中窗口的触发时间使用了event time。 import com.huawei.rt.flink.core.{SEvent, SEventSourceWithChk