检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果主机接入LTS后无法采集到日志,请按如下方法进行排查: 刚完成接入配置则需要等待1~5分钟,日志才会开始上报。 排查相同主机的同一个日志采集路径,是否已在AOM进行了配置。在AOM配置后则不能在LTS重复配置。 参考ECS接入排查是否存在不规范的配置导致日志采集失败。 若以上解决办法无法解决您的问
未提供认证信息,或认证信息错。 403 Forbidden 请求页面被禁止访问。 404 Not Found 服务器无法找到被请求的资源。 408 Request Timeout 请求超出了服务器的等待时间。 429 Too Many Requests 当前请求过多。 500 Internal
多渠道:例如广告商、地推(传单)等。 多终端:网页版、公众账号、手机、浏览器(Web、移动端页面)等。 异构网:VPC、用户自建IDC,华为云ECS等。 多开发语言:核心系统Java、前端Nginx服务器、后台支付系统C++。 设备:商家有不同平台(X86、ARM)设备。 我们需要把散落在外部、内部的日志收集起来,然后通过LTS实现统一管理日志。
不涉及。 Agent安装、升级或卸载 无限制。 不涉及。 表3 ICAgent其他限制 限制项 说明 备注 配置更新 配置更新生效的延时约1-3分钟。 不涉及。 配置动态加载 支持console的配置动态下发,且其中某一配置更新不影响其他采集。 不涉及。 配置数 无限制。 不涉及。
本文介绍资源函数的语法规则,包括参数解释、函数示例等。 函数列表 使用如下资源函数时,必须配置高级预览才能拉取到目标数据。 函数 说明 res_local 从当前数据加工任务中拉取高级参数配置信息。 支持和其他函数组合使用。 res_obs_file 从OBS中获取特定Bucket下的文件内容,支持定期更新数据。
例如:在nginx日志中,将特定的状态码转换为文本格式,可以使用普通映射函数e_dict_map。 状态码 文本 200 成功 300 跳转 400 请求错误 500 服务器错误 搜索映射函数的映射关键字是查询字符串,支持正则表达式匹配、完全匹配、模糊匹配等形式。搜索映射函数包括e_search_dict_ma
中间件-Kafka日志 中间件-Nginx日志 中间件-ElasticSearch日志 中间件-Zookeeper日志 中间件-IIS日志 服务器-DNS日志 中间件-Flink日志 父主题: 日志接入
转换为jar包,并且将其上传至Flume安装路径下的lib文件夹下(请以用户安装Flume的实际路径为准)。 编写配置文件,需要将自定义的拦截器配置进去。 拦截器全类名配置时需要注意,格式为拦截器的全类名 + $Builder。 # 拦截器配置 # 拦截器定义 a1.sources
日志接入 采集第三方云厂商、互联网数据中心、华为云其他Region云主机日志到LTS 采集第三方云厂商、互联网数据中心、华为云其他Region的Kubernetes日志到LTS 采集Syslog汇聚服务器日志到LTS 将自建ELK日志导入云日志服务LTS 基于VPN打通网络实现API或SDK跨云上报日志到LTS
转换为jar包,并且将其上传至Flume安装路径下的lib文件夹下(请以用户安装Flume的实际路径为准)。 编写配置文件,需要将自定义的拦截器配置进去。 拦截器全类名配置时需要注意,格式为拦截器的全类名 + $Builder。 # 拦截器配置 # 拦截器定义 a1.sources
段设置为接入配置的时间。 开启自定义日志时间 登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面,单击右上角,在弹出页面中,选择“云端结构化解析”,详细请参考设置日志云端结构化解析。 配置完成后,开启自定义日志时间开关,配置如下参数。 切
段设置为接入配置的时间。 开启自定义日志时间 登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面,单击右上角,在弹出页面中,选择“云端结构化解析”,详细请参考设置日志云端结构化解析。 配置完成后,开启自定义日志时间开关,配置如下参数。 切
kafka { # 配置地址 bootstrap_servers => "${ip}:${port}" # 配置topic topic_id => "${logGroupId}_${logStreamId}" # 配置消息确认机制 acks => "0" # 配置压缩方式 compression_type
如需删除标签可单击标签操作列的“删除”。 标签键长度不能超过128个字符;标签值长度不能超过255个字符。 标签键名称不可重复。 如果配置转储时使用了该标签,删除标签后,请同步修改转储配置信息。 匿名写入 匿名写入默认关闭,适用于安卓/IOS/小程序/浏览器端上报日志,打开匿名写入则表示该日志流打开匿
盘,从而使用仪表盘实时分析ELB日志数据。 前提条件 已采集ELB日志,具体操作,请参见ELB接入。 已对日志内容完成结构化配置,具体操作请参考结构化配置。 限制条件 一个日志流最多可创建100个图表。 一个仪表盘最多可创建50个图表。 一个仪表盘最多可添加10个过滤器。 一个华为账号最多可创建100个仪表盘。
String 委托方配置的委托名称 agency_project_id String 委托方项目ID be_agency_domain_id String 被委托方账号ID,实际配置转储的账号ID be_agency_project_id String 被委托方项目ID,实际配置转储的账号的项目ID
本章以将指定的一个或多个日志流的日志转储到OBS服务为例。 涉及其它云服务接口 创建OBS转储时,需要查询用户的桶列表: 获取桶列表:确定将要配置转储的桶名称。 创建OBS转储 接口相关信息 URI格式:POST /v2/{project_id}/log-dump/obs 请求示例 POST
在注册DMS kafka实例前,需要在安全组中,开放入方向规则198.19.128.0/17和9011端口。 如果DMS kafka实例的子网配置了ACL,则需要在该子网的网络ACL中,开放入方向规则198.19.128.0/17和9011端口。 调用方法 请参见如何调用API。 URI
DN节点日志 操作系统messages日志 审计日志 数据仓库服务GaussDB(DWS)接入LTS - 16 ECS 弹性云服务器 全量日志(ICAgent采集文本日志) 云主机ECS文本日志接入LTS - 17 ELB 弹性负载均衡 7层访问日志(ELB) 弹性负载均衡 ELB接入LTS
参考基础资源限制。 设置完成后,单击“确定”,该账号汇聚配置创建中,预计5分钟左右创建完成,请稍后刷新查看配置。 目标日志流初始化时默认采用源账号日志流的索引配置和结构化配置,配置成功后,若源账号日志流修改索引/结构化配置则不会同步到目标日志流。 删除源账号的日志组/日志流不会对目标账号的日志组/日志流造成影响。