检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
streaming.StreamingExampleProducer {BrokerList} {Topic} 如果开启了kerberos认证,需要将客户端的配置文件“spark-defaults.conf”和sparkJDBC服务端中的配置项spark.yarn.security.credentials
准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置,版本要求如下: 服务端和客户端仅支持集群自带的OpenJDK,不允许替换。
$BIGDATA_HOME/om-server/OMS/workspace/conf/fms/alarm_filter_config.json 根据实际需要配置或新增参数。 告警ID:待配置告警的ID,例如“12016”。 is_filtered:是否屏蔽告警。“true”表示屏蔽告警,不上报
在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的如下节点信息。 KrbServer 普通模式不需要下载KrbServer日志。 ZooKeeper Storm 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
Manager首页,选择“运维 > 告警 > 告警”,单击此告警所在行的,查看定位信息中上报告警的“主题名”列表。 确认发生告警Topic是否需要增加副本。 是,执行3。 否,执行5。 在FusionInsight客户端,对相关Topic的副本进行重新规划,在add-replicas-reassignment
在FusionInsight Manager首页,选择“集群 > 服务 > Hive > 更多 > 采集堆栈”,在采集堆栈界面配置以下参数: 需要采集的角色勾选“MetaStore”。 选择采集的内容勾选“jstack”和“使能jstack和jmap -histo连续采集”。 采集间隔设置为10秒,持续时长设置为2分钟。
设置系统的环境变量说明 Hadoop在安全认证的时候,需要获取客户端所在主机的域名(Default Realm,从环境变量USERDNSDOMAIN中获取)。如果该主机没有域名,则运行样例程序会有如下报错: 此时需要用户设置系统的环境变量USERDNSDOMAIN以规避该问题,具体如下:
提交到常驻Flink集群上的一个示例如下: bin/flink run ../examples/streaming/WindowJoin.jar 用户在用该命令提交任务前需要先用yarn-session启动Flink集群。 以yarn-cluster模式运行作业的一个示例如下: bin/flink run -m
count命令不支持条件统计,仅支持全表统计。 获取HBase replication指标的命令 通过Shell命令“status”可以获取到所有需要的指标。 查看replication source指标的命令。 hbase(main):019:0> status 'replication'
username="bob" password="xxxxxx"; [7] }; [4] Client_new:zoo.cfg中指定的读取配置,当该名称修改时,需要同步修改zoo.cfg中对应配置。 [5] keyTab :指明工程使用的“user.keytab”在运行样例的主机上的保存路径,使用绝对
count命令不支持条件统计,仅支持全表统计。 获取HBase replication指标的命令 通过Shell命令“status”可以获取到所有需要的指标。 查看replication source指标的命令。 hbase(main):019:0> status 'replication'
deagent进程意外退出等情况出现,使得退服(或缩容)任务失败,并且没有进行黑名单清理。此时DataNode节点会一直处于退服中的状态,需要人工介入进行黑名单清理。 处理步骤 进入服务实例界面。 MRS Manager界面操作: 登录MRS Manager,在MRS Manager页面,选择“服务管理
default.callqueue.size.ratio”参数值不为0,队列过载阈值会受到普通请求队列最大占比限制,最终生效值为两者的乘积。 需要综合考虑核心表业务请求量以及时延要求,核心表时延要求越高/请求越多,建议设置越小的值,通常可设置为:0.5~1.0。 可根据实际业务需求单
是,执行5。 否,执行4。 查看故障节点运行状态,判断是否处于关机状态。 是,启动故障节点,执行2。 否,联系相关工作人员定位问题,若需要从集群中移除故障节点,执行5,否则执行6。 将故障节点从集群所有节点的$NODE_AGENT_HOME/etc/agent/hosts.i
在服务列表中查看DBService服务健康状态是否为“良好”。 是,执行9。 否,执行7。 单击DBService服务的“操作”列的“重启”,重启该服务。 重启服务需要输入MRS Manager管理员密码并勾选“同时重启或启动相关的服务。”。 等待几分钟。检查“ALM-20002 Hue服务不可用”告警是否恢复。
准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置,版本要求如下: 服务端和客户端仅支持集群自带的OpenJDK,不允许替换。
在hiveserver自定义参数界面添加自定义参数mapreduce.map.java.opts及相应的值。 保存配置并重启受影响的服务或者实例。 修改配置后需要保存,请注意参数在HiveServer自定义参数处修改,保存重启后生效(重启期间Hive服务不可用),请注意执行时间窗口。 父主题: 使用Hive
系统当前指标取值满足自定义的告警设置条件的当前值。 对系统的影响 Flink作业的CheckPoint连续失败,超过阈值后Flink作业有失败的风险,需要用户介入查看Flink作业运行状态和日志来确定问题原因,是Flink作业级别的告警,对FlinkServer本身没有影响。 可能原因 失败原因可在具体日志中查看。
录。 执行命令openssl x509 -noout -text -in server.crt查看HA用户证书的生效时间与失效时间。 根据需要,选择业务空闲期,执行6~7更新HA证书。 执行命令cd ${BIGDATA_HOME}/FusionInsight_Flink_*/in
设置HDFS管理员权限 在“配置资源权限”的表格中选择“待操作集群的名称 > HDFS”,勾选“集群管理操作权限 ”。 说明: 设置HDFS管理员权限需要重启HDFS服务才可生效。 设置用户执行HDFS检查和HDFS修复的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > HDFS >