检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志转储至DLI后，在DLI表中查不到新增分区怎么处理？ 设置日志转储至DLI后，在DLI表中查不到新增分区，请参考如下方法处理。 方法1：更新表在元数据库中的分区信息 登录DLI控制台。 左侧导航栏选择“作业管理-SQL作业”。 单击对应队列的操作列“编辑”，进入详情页，在编辑框输入命令“MSCK
、白名单规则、黑名单规则、上传原始日志等参数，实现定制化的采集策略。ICAgent采集配置定义了如何在服务器上采集同类日志并解析、发送到指定的日志流上。 功能优势 基于日志文件，无侵入式采集日志。您无需修改应用程序代码，且采集日志不会影响您的应用程序运行。 稳定处理日志采集过程中
starting 日志位置 默认情况下，Kafka的系统日志文件可能位于Kafka安装目录的logs子目录下，但具体位置可能会因配置而异。以下是一些常见的方法用于找到Kafka的系统日志文件位置： 查看Kafka安装目录。 首先，检查Kafka的安装目录。通常，系统日志文件会存储在安装目录下的一
Firewall， WAF），通过对HTTP(S)请求进行检测，识别并阻断SQL注入、跨站脚本攻击、网页木马上传、命令/代码注入、文件包含、敏感文件访问、第三方应用漏洞攻击、CC攻击、恶意爬虫扫描、跨站请求伪造等攻击，保护Web服务安全稳定。 使用日志搜索与分析（默认推荐）时，对
Firewall， WAF），通过对HTTP(S)请求进行检测，识别并阻断SQL注入、跨站脚本攻击、网页木马上传、命令/代码注入、文件包含、敏感文件访问、第三方应用漏洞攻击、CC攻击、恶意爬虫扫描、跨站请求伪造等攻击，保护Web服务安全稳定。 需要开通管道符后，使用日志搜索与分析
ionName/2019/01/01/日志组/日志流/日志文件名称。 LTS-test/%GroupName/%StreamName/%Y/%m/%d/%H/%M 日志文件前缀 转储至OBS桶中的日志文件前缀。 日志文件前缀需符合如下规范： 名称长度限制为0~64个字符。 名称只
在Windows环境下ICAgent安装失败并提示SERVICE STOP怎么办？ 在LTS页面升级ICAgent失败怎么办？ 在LTS页面无法查询新产生的日志怎么办？ ICAgent安装完成后反复重启怎么办？ 在LTS页面完成ICAgent安装后显示离线怎么办？ ICAgent安装完成后，在LTS页面不显示怎么办？
TS会根据用户配置的日志存储时间定时清理日志文件，不会影响转储后的日志。 在云日志服务LTS控制台，日志转储是把日志“另存”一份保存至OBS服务，转储成功后，单击“转储对象”列的OBS桶名称，可以跳转至OBS控制台，查看转储的日志文件。 选择转储到DIS服务、DMS服务、DWS服务、DLI服务也是一样的操作。
采集配置信息，获取到采集路径后在节点上进行路径匹配，将节点上对应的文件加入监控任务中，通过轮询和inotify感知目标日志文件的变化。 ICAgent侧发现文件变更后，读取文件的内容，分块发送到处理模块，进行单行、多行、结构化、拆分、添加标签等日志处理动作，再将处理好的任务提交到发送任务池后，上报到LTS。
TestInterceptor(); } } } 转换为jar包，并且将其上传至Flume安装路径下的lib文件夹下（请以用户安装Flume的实际路径为准）。 编写配置文件，需要将自定义的拦截器配置进去。 拦截器全类名配置时需要注意，格式为拦截器的全类名 + $Builder。
TestInterceptor(); } } } 转换为jar包，并且将其上传至Flume安装路径下的lib文件夹下（请以用户安装Flume的实际路径为准）。 编写配置文件，需要将自定义的拦截器配置进去。 拦截器全类名配置时需要注意，格式为拦截器的全类名 + $Builder。
对数据进行URL解码。 压缩与解压缩 Gzip压缩库 gzip_compress 对数据进行压缩并编码。 gzip_decompress 将压缩数据解压缩。 Zlib压缩库 zlib_compress 对数据进行压缩并编码。 zlib_decompress 将压缩数据解压缩。 哈希摘要 MD5哈希
LTS。 资源规划 购买两台ECS机器，一台ECS作为Syslog汇聚服务器，另一台用为业务ECS模拟客户系统或者设备发送日志。 购买弹性云服务器 登录管理控制台，选择“计算 > 弹性云服务器 ECS”。 购买一台弹性云服务器作为Syslog汇聚服务器。 推荐CentOS 6.5
他相关设置。 修改日志文件目录： 在右侧窗格中，找到“目录”部分，单击旁边的“浏览”按钮。 这将打开一个文件浏览器窗口，允许您选择新的日志文件存储位置。 选择您想要放置日志文件的文件夹，然后单击“确定”。 父主题： 自建中间件
对于诊断和解决问题非常有用。 在MySQL安装目录下的data文件夹中，文件名通常为hostname.err，其中hostname是MySQL服务器的主机名。 查询日志（General Query Log）： 记录MySQL服务器接收到的所有客户端连接和执行的SQL语句。 可以用于分析查询的性能和执行情况。
自定义轮转规则：如果您的日志文件轮转后命名规则不符合上述的最佳实践建议，可能导致轮转文件被重复采集，您可以通过自定义轮转规则来规避此问题。您可以为每条日志采集路径添加自定义轮转规则，基于正则表达式匹配轮转后的文件名，匹配成功的文件名会被识别为日志轮转文件，不会被重复采集。例如您的日志文件为/your/log/path/**/app1
、warning和error。您可以通过配置文件redis.conf 中的loglevel参数来设置日志级别。 系统日志的输出方式可以是标准输出（stdout）或文件输出（file）。在配置文件中，使用logfile参数来指定日志文件的路径。 慢查询日志（Slow Query Log）：
性造成影响。 采集容器应用日志的方式有：容器标准输出、容器文件、节点文件、K8S事件，建议优先使用容器文件。对比容器标准输出，容器文件的优点是可以持久化挂载到主机上，且输出的内容用户自主控制性更强。对比节点文件，容器文件的优点是采集的日志有命名空间、工作负载、POD等元数据信息，在搜索日志的时候更加便捷。
各类Kafka Producer SDK或采集工具，仅依赖于Kafka协议。支持以下场景： 场景1：已有基于开源采集的自建系统，仅修改配置文件便可以将日志上报到 LTS，例如Logstash。 场景2：希望通过 Kafka producer SDK 来采集日志并上报，不必再安装采集ICAgent。
表1 ICAgent文件采集限制 限制项 说明 备注 文件编码 仅支持UTF8，其他编码可能会产生乱码。 不支持采集其他类型日志文件，例如：二进制文件。 不涉及。 日志文件大小 无限制。 不涉及。 日志文件轮转 ICAgent目前支持配置固定日志文件名或者模糊匹配文件名，用户需要自己处理日志文件轮转。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
