检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云数据库RDS for MySQL接入LTS 支持云数据库RDS for MySQL日志接入LTS。 具体接入方法请参见日志配置管理。 父主题： 使用云服务接入LTS
Flink消费 云日志服务LTS提供的LTS-Flink-Connector工具用于对接flink，包括消费者(Consumer)和生产者(Producer)两部分。 消费者用于从云日志服务中读取数据，支持exactly once语义，支持shard负载均衡，生产者用于将数据写入
rty>来指定。 独立部署的Flink集群：如果在独立模式下部署Flink集群，那么日志文件通常位于Flink安装目录下的log或logs文件夹中。如果Flink安装在/usr/local/flink，则日志文件可能位于/usr/local/flink/log 或 /usr/local/flink/logs。
不支持更新和删除结果表数据，只支持插入数据。 使用限制 仅flink1.12版本支持云日志服务提供的lts-flink-connector工具。 LTS服务不支持作为维表。 lts-flink-connector仅保证At-Least-Once语义。 lts-flink-connector source和sink日志不能为同一个日志流。
请参考标签管理。 匿名写入 匿名写入默认关闭，适用于安卓/IOS/小程序/浏览器端上报日志才能使用匿名写入，需要提交工单开通白名单。 打开匿名写入则表示该日志流打开匿名写入权限，不会经过有效鉴权，可能产生脏数据。关于SDK使用请参考SDK接入。 使用匿名写入采集日志功能仅支持华北
中间件-MySQL日志 MySQL是一种广泛使用的关系型数据库管理系统。MySQL日志系统包含了多种不同类型的日志，用于记录MySQL服务器在运行时的各种活动和事件。这些日志对于数据库管理、性能调优、故障排查等方面都非常重要。以下是MySQL中常见的几种日志及其说明： 错误日志（Error
首次使用python，需要安装python环境。 首次使用ES时需要安装对应ES版本的python数据包，本次方案测试使用的elasticsearch为7.10.1版本。 pip install elasticsearch==7.10.1 方案测试使用的ES为华为云CSS服务创建的ES。 执行用来构造索引数据的
如您有更大的使用需求，请提工单申请。 日志读取次数 您在1个华为账号下，读取次数最大为1000次/min。 如您有更大的使用需求，请提工单申请。 日志组 日志写入流量 您在1个日志组下，写入流量最大为200MB/s。 非硬性限制，超过限制不保证服务质量。 日志写入次数 您在1个日志组下，写入次数最大为1000次/s。
径，仅供参考，请以实际安装路径为准）。 添加MySQL驱动到FLUME_HOME/lib目录下： 下载MySQL驱动。 wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.35
、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。 基于转储DLI功能，您可以轻松将LTS中的日志按照字段映射关系转储到DLI数据库表中，进行后续的大数据分析工作。 前提条件 日志已接入云日志服务（LTS）。
自建中间件 中间件-MySQL日志 中间件-Redis日志 中间件-Kafka日志 中间件-Nginx日志 中间件-ElasticSearch日志 中间件-Zookeeper日志 中间件-IIS日志 服务器-DNS日志 中间件-Flink日志 父主题： 日志接入
16MB/s），日志平均存储30天，30天原始日志总量为3000GB，日志存储方式为一主一副本。 根据Elasticsearch官方推荐，在一主一副本存储方式下，原始日志+副本数据+索引数据等合计占用的存储空间约为原始日志大小2.2倍，另外由于ES集群存在写不均匀且磁盘不能被耗尽，因此为了存储3000GB原始日志，至少需要准备3000GB*2
中间件-ElasticSearch日志 ElasticSearch是一个开源的分布式搜索和分析引擎，被广泛用于构建实时的、可扩展的搜索和分析应用程序。它的主要作用是存储、搜索和分析大量的数据。ElasticSearch的日志是记录其运行过程中各种信息的重要工具，主要有以下两种类型：
目前华为云主机默认未配置接收远程Syslog写入，需要手动开启。 日志接入 将自建ELK日志导入云日志服务LTS 本实践主要介绍使用自定义Python脚本和LTS采集器ICAgent，协助用户将日志从Elasticsearch（简称ES）迁移到LTS中。 日志接入 基于VPN打通
批量修改LTS日志文件转储时区 您在LTS上经常会执行日志接入、日志告警、日志转储等配置操作。有些操作是需要重复多次配置，但目前LTS还没有提供控制台批量操作功能，这时您可以通过Python脚本结合LTS API接口实现自定义的批量操作。 使用场景 当用户创建了1000条日志转储
示例2：采集路径配置为 /var/logs/service-*/a.log，日志匹配示例： /var/logs/service-1/a.log /var/logs/service-2/a.log 示例3：采集路径配置为 /var/logs/service/a*.log，日志匹配示例： /var/logs/service/a1
使用消费组管理消费数据（邀测） 创建消费组 使用Java SDK管理消费组 Flink消费 LTS-Flink-Connector参数说明 父主题： 日志消费与加工
如hostIP、hostName、pathFile）自动生成字段索引，您可以根据自己的需要增加或者删除字段。 批量配置字段索引：批量勾选字段，单击“批量配置”，进行批量配置字段索引。 表3 自定义字段索引配置参数 参数 说明 字段名称 日志字段名称，例如示例日志中的level。
端SDK，实现了缓存发送、异常重试、批量发送等稳定功能，用户快速集成即可全面采集移动端日志到LTS。 秒级上报，高可靠：端侧采集日志后，经传输链路秒级完成上报，数据无丢失，支撑业务做完整性分析。 DLI和DWS快速对接LTS：DLI-Flink简易集成Connector，定点从L
日志读写以日志流为单位，您可以在写入时指定日志流，将不同类型的日志分类存储，ICAgent采集日志后，将多条日志数据进行打包，以日志流为单位发往云日志服务，日志流的读写方式可以最大限度地减少读取与写入次数，提高业务效率。 例如，您可以将不同的日志（操作日志、访问日志等）写入不同的日志流，查询日志时可以进入对应的日志流快速查看日志。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
