检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
转储速率上限为DMS(kafka)集群流量上限。 超过KAFKA集群流量上限时,转储数据会不稳定。 不涉及。 转储DWS 单个日志流转储任务数量 一个日志流仅可创建一个DWS转储任务 不涉及。 转储周期 1分钟 不涉及。 单次转储数据大小 <5MB 不涉及。 转储条件已触发,待转储成功时会有时间延迟。
LogGroup objects 日志组信息。 表4 LogGroup 参数 参数类型 描述 creation_time Long 日志组创建时间。 log_group_name String 日志组名称。 log_group_id String 日志组ID。 ttl_in_days
集开关是否开启。若没有开启,则需要开启ICAgent采集开关。 检查最近一次下发的ICAgent采集开关配置。 登录ICAgent所在的ECS主机。 执行cd /var/ICAgent进入ICAgent日志目录。 执行如下命令,查询日志采集配置。 zgrep switchList
使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务,详细操作请参考云主机ECS文本日志接入LTS。 Elasticsearch日志示例以及字段含义 主要日志 { "log.level":
志的操作方式与采集阿里云主机日志的方式类似。 日志接入 采集Syslog汇聚服务器日志到LTS 本实践主要介绍通过Syslog协议将日志上传到日志服务的操作步骤。您需要购买ECS作为Syslog汇聚服务器,Linux服务器默认自带Syslog,目前华为云主机默认未配置接收远程Syslog写入,需要手动开启。
batchCountThreshold 时,该 batch 将被发送。 int 选填 4096 LingerMs 一个 ProducerBatch 从创建到可发送的逗留时间。 int 选填 2S Retries 如果某个 ProducerBatch 首次发送失败,能够对其重试的次数,建议为 3
setMaxRetryBackoffMs(500L) // 默认false, true: 可以跨云上报日志, false: 仅能在华为云ecs主机上报日志 // .setEnableLocalTest(false) // 超过1M的日志
支持部分白名单用户使用的局点有:华南-深圳、中东-利雅得、亚太-雅加达、华北-乌兰察布二零二,其他局点暂不支持该功能。 一个日志流最多可创建100个图表。 一个仪表盘最多可添加50个图表。 统计图表类型 支持使用表格、柱状图、折线图等图表类型展示不同场景数据,详细请参考表1。 表1
2(存储膨胀)*2(50%磁盘冗余) = 13200GB磁盘。 搭建ES最小典型配置是3台ECS(16U64G5TB),kafka双副本能支持缓存最近12小时的日志。 表1 自建ELK 大类 小类 月成本(合计:12597元) 费用占比 搭建ES 3 * ECS(C6 16U64G) 3*1999=5997元 47
1595659200000, "end_time" : 1595659500000, "labels" : { "hostName" : "ecs-kwxtest" }, "keywords" : "log", "limit" : 10, "is_count" : true
刚完成接入配置则需要等待1~5分钟,日志才会开始上报。 排查相同主机的同一个日志采集路径,是否已在AOM进行了配置。在AOM配置后则不能在LTS重复配置。 参考ECS接入排查是否存在不规范的配置导致日志采集失败。 若以上解决办法无法解决您的问题,请提交工单寻求技术支持工程师的帮助。 父主题: 日志接入
中间件-Kafka日志 中间件-Nginx日志 中间件-ElasticSearch日志 中间件-Zookeeper日志 中间件-IIS日志 服务器-DNS日志 中间件-Flink日志 父主题: 日志接入
计费样例 计费场景1:免费使用场景 云日志服务支持每个月500 MB/月的免费额度。 假设您有1台服务器,每天产生10MB原始日志,并开启全文索引,日志标准存储时长7天(存储日志的时长,只存7天的日志,第8天则会删除第一天的日志),未开启智能冷存储,使用云日志服务(LTS)30天
例如:在nginx日志中,将特定的状态码转换为文本格式,可以使用普通映射函数e_dict_map。 状态码 文本 200 成功 300 跳转 400 请求错误 500 服务器错误 搜索映射函数的映射关键字是查询字符串,支持正则表达式匹配、完全匹配、模糊匹配等形式。搜索映射函数包括e_search_dict_ma
code查询具体情况。 LTS.0104 Create database table failed, code=%@, error=%@. 创建数据表失败。 请根据sqlite3 error code查询具体情况。 LTS.0105 Insert into database failed
Specific Language)仪表盘模板,DSL加工任务监控中心主要展示加工任务ID、加工任务名称、输入行数、输出行数等信息。 前提条件 已创建DSL加工任务。 日志配置结构化,详情请参见设置云端结构化解析日志。 DSL加工任务监控中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘”。
objects 日志组数组。 表5 LogStreamNoIsFavorite 参数 参数类型 描述 creation_time Long 日志流创建时间 log_stream_id String 日志流ID log_stream_name String 日志流名称 log_stream_name_alias
日志接入 采集第三方云厂商、互联网数据中心、华为云其他Region云主机日志到LTS 采集第三方云厂商、互联网数据中心、华为云其他Region的Kubernetes日志到LTS 采集Syslog汇聚服务器日志到LTS 将自建ELK日志导入云日志服务LTS 基于VPN打通网络实现API或SDK跨云上报日志到LTS
LogStreamResBody objects 日志流 表4 LogStreamResBody 参数 参数类型 描述 creation_time Long 创建时间 最小值:1577808000000 最大值:4102416000000 log_stream_id String 日志流ID log_stream_name
获取华为云账号的项目ID(project id),详情请参见“我的凭证 >API凭证”。 获取需要上报到LTS的日志组ID、日志流ID。 当前仅支持内网上报,需要在ECS主机上使用。 相关限制 当前仅支持内网上报,端口固定为9095,IP根据所在局点进行配置。 支持 Kafka 协议版本为:1.0.X,2.X