检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
异常检测Judge定时任务失败 KeyError TypeError: not supported between instances of 'str' and 'float' TypeError("Cannot index by location index with a non-integer
快速配置异常检测任务 异常检测基于运维领域的数据的历史特征,对其未来的走向进行预测。一旦当前实际数据和预测值偏差到一定程度,则认为发生异常,会生成告警并上报至告警系统。 异常检测的能力是基于指标仓库、MPPDB数据库及异常检测服务所构建的。指标仓库定义了数据的来源和数据的计算方式。
在基础配置页面,默认显示新增任务时配置的信息,单击“字段配置”,切换至“字段配置”页签。 配置对应的参数,配置完成后,单击“确认”。 表5 基础数据参数说明 参数名称 参数说明 时间列 指定异常检测哪个列的数据是时间。 指标列 指定异常检测哪个列的数据是指标,即异常检测需要监控的指标。 计数列 指定异常检测哪个列的数据是请求量。
配置异常检测任务 快速配置异常检测任务 新增异常检测任务 通过调整模型参数对异常告警调优 父主题: 监控资源和应用
变量值较多时,产生的维度数超过了2000个。需要将该类型的接口归为一个维度,可以使用正则匹配, 在源头清洗数据,将这种URL类型接口清洗成一个维度。 维度数超过2000个,即如果用户有超过2000个接口的维度需要检测,建议在异常检测任务基础配置的“字段配置”中,在“获取动态值”页
动态阈值会通过训练历史数据,实现对数据特征的学习,构建数据的模型。并利用模型来预测数据的趋势走向。如图2黄色部分,实际值和预测值相差过大,认为异常。 图2 动态阈值 异常检测的能力是基于指标仓库,MPPDB数据库及异常检测服务所构建的。指标仓库定义了数据的来源和数据的计算方式。MPPDB数据库用来检测过程中的数据进
在MPPDB汇聚中新建任务,查询对应指标字段数据是否为空。 确认汇聚任务及上游数据处理环节(数据接入至Kafka的Topic、数据导流至Chickhouse表)是否存在异常。 父主题: 异常检测Judge定时任务失败
载会提示失败。 解决方法 依次单击“初始化Daemon”、“注册任务”和“启动任务”,重启judge后会生成新的judge日志文件,再打开查看即可。 父主题: 异常检测Judge定时任务失败
location index with a non-integer key")提示。 解决方法 在异常检测任务基础配置的“字段配置”中,将维度的“列名”修改为对应的维度字段。 父主题: 异常检测Judge定时任务失败
快速配置方式创建的告警需要在“AI辅助诊断 > 任务配置 > 异常检测 > 汇聚任务管理”中对相应的告警原始表汇聚任务依次单击“元数据清理”、“补数据”,进行数据回补。 使用Warehouse,即指标仓库中的视图作为异常检测数据创建的告警,需要在异常检测视图详情页的“补数据”页签进行数据回补。
解决方法 依次单击“初始化Daemon”、“注册任务”和“启动任务”,重启judge,重新启动容器后观察是否恢复正常。 父主题: 异常检测Judge定时任务失败
json,表示训练完成后judge未成功加载训练模型。 解决方法 依次单击“初始化Daemon”、“注册任务”和“启动任务”,重启judge,观察执行结果。 父主题: 异常检测Judge定时任务失败
修复异常后执行补数据操作。 选择指标仓库中的视图“Warehouse”作为异常检测数据,可在指标仓库异常检测视图详情页的“补数据”页签进行数据回补。 选择指标仓库中的指标“Indicator”作为异常检测数据,可在“AI辅助诊断 > 任务配置 > 异常检测 > 汇聚任务管理”页面进行数据回补。
0,说明维度值为空。 解决方法 在异常检测任务基础配置的“字段配置”页面,查看获取到的维度值是否为空。 在MPPDB汇聚中新增任务,查询告警原始表数据是否正常。 查看上游任务(数据接入至Kafka的Topic、数据导流至Chickhouse表)是否正常。 父主题: 异常检测Judge定时任务失败
使小幅度下降的异常不告警,针对阈值线过紧的情况,图1的异常通过敏感度调节不了,因为阈值线相对是合理的 配置count_threshold参数,如果不关注请求量很少的异常,可以配置该参数,建议非必要情况下不要配置该参数,可能会出现遗漏告警的情况。 毛刺告警 两三个显著的毛刺点异常,如图2所示。
检查judge配置中“Dynamic Resource”按钮是否是打开状态,需要打开按钮。 在异常检测任务基础配置的“字段配置”页面,在维度的“维度值”中检查告警维度值是否存在特殊字符。 通过正则匹配和阈值限制降低维度值数量。 父主题: 异常检测Judge定时任务失败
judge历史的原始详情中出现judge_data_size(in):0提示。 可能原因 judge没有获取到数据。 解决方法 检查告警原始表汇聚任务配置的汇聚提前时间和judge任务的汇聚提前时间,保证对应时间点能够获取到数据即可。 操作步骤 找到告警原始表对应的汇聚任务(MP
and 'float'提示。 解决方法 检查告警原始表指标字段的类型配置是否正确。 例如请求量指标错误配置为varchar类型,应该是数值类型,需要在MPPDB表管理中,将对应表字段类型调整正确。 父主题: 异常检测Judge定时任务失败
单击“打开编辑器”,手动增加一个空的维度值,单击“Save”。 单击维度“列名”后的减号,删掉新增的空维度,单击“确认”。 在异常检测任务模型配置的“算法配置”页面,查看“输出表名”改为新的系统自动创建的输出表。 在异常检测任务模型配置的“训练配置”页面,单击“立即训练”。 父主题: 异常检测Judge定时任务失败
user request 问题现象 judge历史的原始详情中出现canceling statement due to user request错误提示,如下图: 可能原因 原始表数据量过大(超过500万),查询本次judge数据的SQL在10秒内没有执行完,后台mpp监控程序取消了本次查询。