检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Server功能,暂不支持在FlinkServer WebUI执行启动、开发、停止等操作。 需确保未使用“Session模式”提交作业并且需要指定作业名。 查看作业健康步骤 访问Flink WebUI,请参考访问FlinkServer WebUI界面。 单击“作业管理”进入作业管理页面。
产生告警的任务名称。 用户名 产生告警的用户名称。 对系统的影响 Flink作业的CheckPoint连续失败,超过阈值后Flink作业有失败的风险,需要用户介入查看Flink作业运行状态和日志来确定问题原因,是Flink作业级别的告警,对FlinkServer本身没有影响。 可能原因 失败原因可在具体日志中查看。
对系统的影响 业务失败:主机PID使用率过高时,无法分配PID给新的业务进程,可能会导致作业运行失败。 可能原因 节点同时运行的进程过多,需要扩展pid_max值。 处理步骤 扩展pid_max值。 打开FusionInsight Manager页面,在实时告警列表中,单击此告警所在行的,获取告警所在主机IP地址。
不同计费模式下的费用计算过程,请参见计费样例。 续费 包年/包月MRS集群在到期后会影响MRS集群的正常运行。如果您想继续使用MRS集群,需要在规定的时间内为MRS集群进行续费,否则无法在MRS管理控制台对该集群执行相关操作,相关接口也无法调用,自动化监控或告警等运维服务也会停止
streaming.StreamingExampleProducer {BrokerList} {Topic} 如果开启了kerberos认证,需要将客户端的配置文件“spark-defaults.conf”和sparkJDBC服务端中的配置项spark.yarn.security.credentials
准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置,版本要求如下: 服务端和客户端仅支持集群自带的OpenJDK,不允许替换。
$BIGDATA_HOME/om-server/OMS/workspace/conf/fms/alarm_filter_config.json 根据实际需要配置或新增参数。 告警ID:待配置告警的ID,例如“12016”。 is_filtered:是否屏蔽告警。“true”表示屏蔽告警,不上报
在FusionInsight Manager首页,选择“集群 > 服务 > Hive > 更多 > 采集堆栈”,在采集堆栈界面配置以下参数: 需要采集的角色勾选“MetaStore”。 选择采集的内容勾选“jstack”和“使能jstack和jmap -histo连续采集”。 采集间隔设置为10秒,持续时长设置为2分钟。
在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的如下节点信息。 KrbServer 普通模式不需要下载KrbServer日志。 ZooKeeper Storm 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
Manager首页,选择“运维 > 告警 > 告警”,单击此告警所在行的,查看定位信息中上报告警的“主题名”列表。 确认发生告警Topic是否需要增加副本。 是,执行3。 否,执行5。 在FusionInsight客户端,对相关Topic的副本进行重新规划,在add-replicas-reassignment
设置系统的环境变量说明 Hadoop在安全认证的时候,需要获取客户端所在主机的域名(Default Realm,从环境变量USERDNSDOMAIN中获取)。如果该主机没有域名,则运行样例程序会有如下报错: 此时需要用户设置系统的环境变量USERDNSDOMAIN以规避该问题,具体如下:
4(4vCPUs,16GB) 系统盘:通用型SSD,480GB 数据盘:通用型SSD,600GB 用了一段时间后,用户发现MRS集群当前规格无法满足业务需要,于2023/03/20 9:00:00对core_node_analysis_group节点组扩容了1个节点。后因业务持续增长发现mas
一个值函数选择数据集中的第一个非空值,支持所有数据类型。 使用约束 由于Hudi OCC特性的限制,当前不建议多流并发写Hudi表。 如果需要多流同时写请将所有流union后写入Hudi。 适合批读获取结果。 开启聚合引擎 建表属性中指定hoodie.merge-engine=a
准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置,版本要求如下: 服务端和客户端仅支持集群自带的OpenJDK,不允许替换。
在hiveserver自定义参数界面添加自定义参数mapreduce.map.java.opts及相应的值。 保存配置并重启受影响的服务或者实例。 修改配置后需要保存,请注意参数在HiveServer自定义参数处修改,保存重启后生效(重启期间Hive服务不可用),请注意执行时间窗口。 父主题: 使用Hive
系统当前指标取值满足自定义的告警设置条件的当前值。 对系统的影响 Flink作业的CheckPoint连续失败,超过阈值后Flink作业有失败的风险,需要用户介入查看Flink作业运行状态和日志来确定问题原因,是Flink作业级别的告警,对FlinkServer本身没有影响。 可能原因 失败原因可在具体日志中查看。
录。 执行命令openssl x509 -noout -text -in server.crt查看HA用户证书的生效时间与失效时间。 根据需要,选择业务空闲期,执行6~7更新HA证书。 执行命令cd ${BIGDATA_HOME}/FusionInsight_Flink_*/in
设置HDFS管理员权限 在“配置资源权限”的表格中选择“待操作集群的名称 > HDFS”,勾选“集群管理操作权限 ”。 说明: 设置HDFS管理员权限需要重启HDFS服务才可生效。 设置用户执行HDFS检查和HDFS修复的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > HDFS >
count命令不支持条件统计,仅支持全表统计。 获取HBase replication指标的命令 通过Shell命令“status”可以获取到所有需要的指标。 查看replication source指标的命令。 hbase(main):019:0> status 'replication'
认证用户名为访问IoTDB的用户名。 认证用户密码为访问IoTDB的用户密码。 /** * 安全模式下,“SSL_ENABLE”默认为“true”,需要导入truststore.jks文件。 * 安全模式下,也可登录FusionInsight Manager,选择“集群 > 服务 > IoTDB