检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
约束与限制 基础资源限制 日志读写限制 ICAgent限制 搜索与分析限制 日志转储限制 日志告警限制 日志生成指标限制 操作系统限制
错误码。 最小长度:8 最大长度:8 error_msg String 调用失败响应信息描述。 请求示例 删除消息模板 DELETE https://{endpoint}/v2/{project_id}/{domain_id}/lts/events/notification/templates
日志接入概述 日志接入是一个关键的过程,它涉及到收集应用程序或服务在执行过程中生成的各种日志信息,如系统运行状态、错误信息和用户操作记录等。这些信息被存储在特定位置,以便于后续的分析和应用,对于系统的运维、故障排查和业务分析都至关重要。 云日志服务提供实时日志接入功能,通过ICA
DSL加工(邀测) DSL数据加工语法(邀测) 使用定时SQL进行日志加工 使用FunctionGraph服务提供的函数模板进行日志加工 日志生成指标(邀测) 使用消费组管理消费数据(邀测) 使用SDK-API消费日志(邀测)
/zf/11874.html HTTP/1.1|200|0.077|6404|198.51.100.10:8001|200|0.060|https://example.com/s?q=%25%24%23%40%21&from=wy878378&uc_param_str=dnntnw
数从OSS中获取数据,再使用tab_parse_csv函数构建表格,最后使用e_table_map函数进行字段匹配,返回指定字段和字段值,生成新的日志数据。 实践案例 原始日志 { "account":"Sf24asc4ladDS" } OBS Bucket中的CSV文件数据
在进行结构化配置字段提取之后,可对结构化字段进行设置,详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析(自动生成) 用户自定义。 名称必须以字母开始,且仅包含字母和数字。 是 是 正则分析(手动输入) 支持在输入正则表达式时进行命名。 支持使用系统默
content:https://username:username@example.com:8083/hello/asdah/;type=docx?filename=python3.docx#urllib url:{ "scheme": "https",
在进行结构化配置字段提取之后,可对结构化字段进行设置,详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析(自动生成) 用户自定义。 名称必须以字母开始,且仅包含字母和数字。 是 是 正则分析(手动输入) 支持在输入正则表达式时进行命名。 支持使用系统默
error_code String 错误码。 error_msg String 调用失败响应信息描述。 请求示例 删除当前ID的结构化配置 DELETE https://{endpoint}/v2/{project_id}/lts/struct/template /v2/{project_id}/lts/struct/template
100:56789 表1 Zookeeper日志字段说明 字段 说明 示例 时间戳 日志生成的具体时间,以yyyy-MM-dd HH:mm:ss,SSS的格式展示。 2024-05-06 10:28:25,123 线程ID 生成该日志的线程ID。 myThread-1 日志级别 常见的日志级别包括
安装ICAgent详情页面,“跳板机私有IP”填入ECS私有IP,生成安装口令并复制。 图9 安装ICAgent 登录跳板机ECS,执行上一步的命令并根据提示输入节点密码,若无报错,表示安装成功。 图10 执行生成的安装命令 在“安装ICAgent”页面, “跳板机连接IP”输入
关闭日志存储和日志存储时间。 图1 修改日志流 单击“确定”。关闭日志存储后,日志不会存储到LTS,可节约索引流量和存储费用,只能使用日志生成指标、转储功能,不能使用日志搜索分析、告警、消费加工等其他功能。 父主题: 日志管理
error_code String 错误码。 error_msg String 调用失败响应信息描述。 请求示例 创建日志流 POST https://{endpoint}/v2/{project_id}/groups/{log_group_id}/streams { "log_stream_name"
error_msg String 错误描述 最小长度:1 最大长度:1000 请求示例 更新主机组,host_group_id为必填参数。 PUT https://{endpoint}/v3/{project_id}/lts/host-group { "host_group_id" : "xxxxxx"
Flink系统日志字段含义 字段 说明 示例 时间戳 该条日志的生成时间。 2023-10-23 14:35:00,000 日志级别 该条日志的重要性或紧急程度,常见的级别有INFO、WARN、ERROR等。 INFO 日志来源 生成该条日志的组件或任务。 org.apache.flink
函数列表 类型 函数 说明 多字符串操作 str_format 按照指定格式对字符串进行格式化。 str_join 通过连接符将输入的字符串连接生成一个新的字符串。 str_zip 将两个值或表达式的字符串进行并发分裂然后再合并成一个字符串。 排序、反转、替换 str_sort 字符串排序。
最小长度:1 最大长度:1000 请求示例 创建主机组,host_group_name和host_group_type为必填参数 POST https://{endpoint}/v3/{project_id}/lts/host-group { "host_group_name" :
String 为一个html文本,需要进行相应的解析后展示 最小长度:2 最大长度:1024 请求示例 预览消息模板邮件格式 POST https://{endpoint}/v2/{project_id}/{domain_id}/lts/events/notification/templates/view
如果跳板机ECS掉电重启,请重新执行安装ICAgent页面生成的安装命令。如果您在生产环境中使用,请将上述端口转发命令配置为开机启动任务。 图7 查看端口 在阿里云主机上安装ICAgent 获取AK/SK,请参考获取华为账号的AK/SK。 输入跳板机连接IP(注意需要填入ECS弹性公网IP),生成ICAgent安装命令。