检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在进行结构化配置字段提取之后,可对结构化字段进行设置,详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析(自动生成) 用户自定义。 名称必须以字母开始,且仅包含字母和数字。 是 是 正则分析(手动输入) 支持在输入正则表达式时进行命名。 支持使用系统默
在进行结构化配置字段提取之后,可对结构化字段进行设置,详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析(自动生成) 用户自定义。 名称必须以字母开始,且仅包含字母和数字。 是 是 正则分析(手动输入) 支持在输入正则表达式时进行命名。 支持使用系统默
100:56789 表1 Zookeeper日志字段说明 字段 说明 示例 时间戳 日志生成的具体时间,以yyyy-MM-dd HH:mm:ss,SSS的格式展示。 2024-05-06 10:28:25,123 线程ID 生成该日志的线程ID。 myThread-1 日志级别 常见的日志级别包括
安装ICAgent详情页面,“跳板机私有IP”填入ECS私有IP,生成安装口令并复制。 图9 安装ICAgent 登录跳板机ECS,执行上一步的命令并根据提示输入节点密码,若无报错,表示安装成功。 图10 执行生成的安装命令 在“安装ICAgent”页面, “跳板机连接IP”输入
关闭日志存储和日志存储时间。 图1 修改日志流 单击“确定”。关闭日志存储后,日志不会存储到LTS,可节约索引流量和存储费用,只能使用日志生成指标、转储功能,不能使用日志搜索分析、告警、消费加工等其他功能。 父主题: 日志管理
Flink系统日志字段含义 字段 说明 示例 时间戳 该条日志的生成时间。 2023-10-23 14:35:00,000 日志级别 该条日志的重要性或紧急程度,常见的级别有INFO、WARN、ERROR等。 INFO 日志来源 生成该条日志的组件或任务。 org.apache.flink
函数列表 类型 函数 说明 多字符串操作 str_format 按照指定格式对字符串进行格式化。 str_join 通过连接符将输入的字符串连接生成一个新的字符串。 str_zip 将两个值或表达式的字符串进行并发分裂然后再合并成一个字符串。 排序、反转、替换 str_sort 字符串排序。
如果跳板机ECS掉电重启,请重新执行安装ICAgent页面生成的安装命令。如果您在生产环境中使用,请将上述端口转发命令配置为开机启动任务。 在阿里云主机上安装ICAgent 获取AK/SK,请参考获取华为账号的AK/SK。 输入跳板机连接IP(注意需要填入ECS弹性公网IP),生成ICAgent安装命令。 请
2023-10-23T15:46:30.123Z log.origin.file.name 生成日志条目的源文件名。 Elasticsearch.java log.origin.file.line 生成日志条目的源文件行号。 123 message 实际的日志消息内容。 version[7
LTS str_isupper: true str_uuid 随机生成UUID。 函数格式 str_uuid(lower=true) 参数说明 参数名称 参数类型 是否必填 说明 lower Boolean 否 生成的UUID中的字母是否是小写。默认为true表示小写。 返回结果 true/false。
0的日志数据。 自定义:表示查询指定时间范围的日志数据。 字段提取。包括自动生成和手动输入两种方式,可将选择的日志提取为以一个示例字段对应一个字段名称的格式的日志解析结果。 自动生成:当用户选择自动生成时,可以用鼠标选中示例日志中待结构化的日志内容,在弹出的对话框中为选中内容设置
0的日志数据。 自定义:表示查询指定时间范围的日志数据。 字段提取。包括自动生成和手动输入两种方式,可将选择的日志提取为以一个示例字段对应一个字段名称的格式的日志解析结果。 自动生成:当用户选择自动生成时,可以用鼠标选中示例日志中待结构化的日志内容,在弹出的对话框中为选中内容设置
繁琐,使用不够灵活。 函数加工需要使用函数工作流服务,且还需要独立收费,长期使用增加成本。 应用场景 提取结构化的数据,方便后续检索分析,生成仪表盘等。 日志减肥瘦身,节约后续使用成本。丢弃不需要的日志数据,节约存储成本、流量成本。 敏感数据脱敏,例如:将用户的身份证、手机号码脱敏。
云日志服务的保留字段__time__:用API/SDK写入日志数据时指定的日志时间,该字段可用于日志投递、查询、分析。 日志中原有的时间字段:日志在生成时,用于记录日志事件发生时间的字段,是原始日志的字段。 转换时间字段格式的方式: 将__time转化成时间戳 将__time以指定格式打印
fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 请求响应成功, 成功获取结构化配置。 400 BadRequest。非法请求。
pbb,默认开启“应用到日志流”,将日志组标签同步到日志流,单击“确定”。 图2 bb部门添加标签 标签添加成功后预计需要等待一个小时才能生成话单。 在控制台顶部菜单栏中选择“费用 > 费用账单”,进入“账单概览”页面。 左侧导航栏选择“流水和明细账单”,在“明细账单”页签,统计
pbb,默认开启“应用到日志流”,将日志组标签同步到日志流,单击“确定”。 图2 bb部门添加标签 标签添加成功后预计需要等待一个小时才能生成话单。 在控制台顶部菜单栏中选择“费用 > 费用账单”,进入“账单概览”页面。 左侧导航栏选择“流水和明细账单”,在“明细账单”页签,统计
志进行查询和分析操作。更多信息请参考索引配置。 单击“提交”,日志接入成功,可以单击“返回接入配置列表”查看日志接入,在接入管理页签,则会生成一条接入配置信息。 完成日志接入配置后,可以在云日志服务控制台实时查看上报的日志。 单击目标日志接入任务“所属日志流”列的日志流名称,即可进入日志流详情页。
\d+),由于每个首行的日期是唯一的,因此可以根据日期来生成首行正则。 在“提取正则表达式”下方输入要提取日志的正则表达式,单击“验证”,在提取结果下方查看结果。 或者单击“正则表达式自动生成”,在新打开的页面根据日志样例提取字段,输入key值,单击“确定”即可自动生成正则表达式,设置完成后,单击“确定”。
单击“确定”,完成快速查询条件的创建。在左侧导航栏的快速查询页签,即可查看到保存成功的语句。 单击快速查询语句的名称,查看日志详情。 查看上下文 您可以通过本操作查看指定日志生成时间点前后的日志,用于在运维过程中快速定位问题。 在搜索分析页签下方的原始日志页面,单击可以查看上下文。 在查看上下文结果中,可以查看该日志的前后若干条日志详细信息。