检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
产生告警的任务名称。 对系统的影响 Flink作业Task持续背压,作业持续背压会导致性能问题,或者CheckPoint失败,进而导致Flink作业失败,需要用户介入查看Flink作业运行情况和日志来确认原因,是Flink作业级别的告警,对FlinkServer本身没有影响。 可能原因 Flin
Topic的ACL设置 Kafka支持安全访问,因此可以针对Topic进行ACL设置,从而控制不同的用户可以访问不同的Topic。Topic的权限信息,需要在Linux客户端上,使用“kafka-acls.sh”脚本进行查看和设置。 操作场景 该任务指导Kafka管理员根据业务需求,为其他使用
streaming.StreamingExampleProducer {BrokerList} {Topic} 如果开启了kerberos认证,需要将客户端的配置文件“spark-defaults.conf”和sparkJDBC服务端中的配置项spark.yarn.security.credentials
准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置,版本要求如下: 服务端和客户端仅支持集群自带的OpenJDK,不允许替换。
$BIGDATA_HOME/om-server/OMS/workspace/conf/fms/alarm_filter_config.json 根据实际需要配置或新增参数。 告警ID:待配置告警的ID,例如“12016”。 is_filtered:是否屏蔽告警。“true”表示屏蔽告警,不上报
BS”。 单击“Add New Policy”,为2新建的用户组添加相应OBS路径的“Read”和“Write”权限,OBS目录若不存在则需要提前创建,且不允许带通配符*。 图1 为Hudi用户组赋予OBS路径读和写权限 父主题: MRS集群服务对接OBS示例
在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的如下节点信息。 KrbServer 普通模式不需要下载KrbServer日志。 ZooKeeper Storm 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
Manager首页,选择“运维 > 告警 > 告警”,单击此告警所在行的,查看定位信息中上报告警的“主题名”列表。 确认发生告警Topic是否需要增加副本。 是,执行3。 否,执行5。 在FusionInsight客户端,对相关Topic的副本进行重新规划,在add-replicas-reassignment
在FusionInsight Manager首页,选择“集群 > 服务 > Hive > 更多 > 采集堆栈”,在采集堆栈界面配置以下参数: 需要采集的角色勾选“MetaStore”。 选择采集的内容勾选“jstack”和“使能jstack和jmap -histo连续采集”。 采集间隔设置为10秒,持续时长设置为2分钟。
在FusionInsight Manager首页,选择“集群 > 服务 > Hive > 更多 > 采集堆栈”,在采集堆栈界面配置以下参数: 需要采集的角色勾选“MetaStore”。 选择采集的内容勾选“jstack”和“使能jstack和jmap -histo连续采集”。 采集间隔设置为10秒,持续时长设置为2分钟。
准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置,版本要求如下: 服务端和客户端仅支持集群自带的OpenJDK,不允许替换。
在hiveserver自定义参数界面添加自定义参数mapreduce.map.java.opts及相应的值。 保存配置并重启受影响的服务或者实例。 修改配置后需要保存,请注意参数在HiveServer自定义参数处修改,保存重启后生效(重启期间Hive服务不可用),请注意执行时间窗口。 父主题: 使用Hive
系统当前指标取值满足自定义的告警设置条件的当前值。 对系统的影响 Flink作业的CheckPoint连续失败,超过阈值后Flink作业有失败的风险,需要用户介入查看Flink作业运行状态和日志来确定问题原因,是Flink作业级别的告警,对FlinkServer本身没有影响。 可能原因 失败原因可在具体日志中查看。
录。 执行命令openssl x509 -noout -text -in server.crt查看HA用户证书的生效时间与失效时间。 根据需要,选择业务空闲期,执行6~7更新HA证书。 执行命令cd ${BIGDATA_HOME}/FusionInsight_Flink_*/in
level => "[level]", value => "[value]", units => "[units]") spec使用正则表达式来选择需要TTL的分区,可以执行show partitions命令查看Hudi表的分区格式,然后写正确的正则表达式来匹配分区。 value和unit
一个值函数选择数据集中的第一个非空值,支持所有数据类型。 使用约束 由于Hudi OCC特性的限制,当前不建议多流并发写Hudi表。 如果需要多流同时写请将所有流union后写入Hudi。 适合批读获取结果。 开启聚合引擎 建表属性中指定hoodie.merge-engine=a
ent/kerberos/var/krb5kdc/krb5.conf,copy覆盖集群内所有节点的/etc/krb5.conf,注意替换前需要备份。 父主题: Spark Core
count命令不支持条件统计,仅支持全表统计。 获取HBase replication指标的命令 通过Shell命令“status”可以获取到所有需要的指标。 查看replication source指标的命令。 hbase(main):019:0> status 'replication'
Connection connection = null; try { // 获取JDBC连接 // 第二个参数需要填写正确的用户名,否则会以匿名用户(anonymous)登录 connection = DriverManager.getConnection(url
Connection connection = null; try { // 获取JDBC连接 // 第二个参数需要填写正确的用户名,否则会以匿名用户(anonymous)登录 connection = DriverManager.getConnection(url