检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的日志数据;Syslog服务器默认接收日志大小为1024字节,超过会截断。 单台Syslog服务器处理日志能力为10MB/s,如果您的日志量较大,或者希望可靠性更高,可以购买多台ECS配置为Syslog服务器,并配置ELB负载均衡分发流量。 您需要在Syslog服务器上安装ICA
备,例如Web浏览器、IOS、安卓、百度小程序、微信小程序、钉钉小程序、快应用等多类端侧日志无法快速采集。 数据传输不可靠:移动端日志数据量多且频繁,传输速度慢,也极易出现丢失,对业务分析造成一定影响。 数据处理不方便:原始数据不方便处理,不方便快速与大数据平台实现对接。 云日志
支持Astro轻应用日志接入LTS。在运行日志中,可查看程序的运行日志,便于问题定位。同时,AstroZero支持将日志采集到云日志服务(Log Tank Service,简称LTS),提供更强大的日志收集、分析、存储等服务。用户通过云日志服务,可快速高效地进行用户业务趋势分析、安全监控审计等操作。 具体接入方法请参见查看运行日志。
ID以及kafka Topic进行实例注册。详情见接口注册DMSkafka实例 kafka_topic String DMS转储kafka topic。 创建DMS转储前,需要使用kafka ID以及kafka Topic进行实例注册。详情见接口注册DMSkafka实例 obs_transfer_path
计费场景2-关闭全文索引,打开索引字段使用场景 假设您有1台服务器,每天产生100GB原始日志,并关闭全文索引,写入到日志服务并开启其中五个字段的索引,这五个字段的数据量为50GB。 日志标准存储时长30天(存储日志的时长,只存30天的日志,第31天则会删除第一天的日志),未开启智能冷存储,使用云日志服务(L
SQL字符串函数 功能描述 SQL提供字符串函数,用于对字符类型的数据执行拼接、大小写转换等操作,具体请参见表1。 SQL语法中,字符必须被单引号('')包裹,无符号或双引号("")包裹的为字段或表名称,如:'msg'表示字符串msg,msg或"msg"表示日志结构化msg字段。
转储任务一旦删除将不再对日志进行转储,请谨慎操作。 删除转储任务后,之前已经转储日志将会继续保存在DMS。 注册Kafka实例 如果选择Kafka实例未注册,单击“注册”,跳转到注册Kafka实例页面。 注册Kafka实例相关参数说明。 表2 参数说明 参数名称 说明 示例 Kafka实例 dms实例名称。
获取账号ID、项目ID、日志组ID、日志流ID 获取账号ID和项目ID 在调用接口的时候,部分URL中需要填入账号ID(domain-id)和项目ID,获取步骤如下: 注册并登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“我的凭证”页面查看账号ID和项目ID。 多项目时,展开“所属区域”,从“项目ID”列获取子项目ID。
系统服务列表中不存在ICAgent服务。 命令行工具下执行sc query icagent提示未找到。 可能原因 一般为杀毒软件,如360安全卫士等,拦截了ICAgent服务注册。 解决方法 检查是否有杀毒软件正在运行,如有,请执行下一步。 关闭杀毒软件后再进行ICAgent安装。详细请参考安装ICAgent。 父主题:
数据富化 从OBS获取csv文件进行数据富化 使用e_dict_map、e_search_dict_map函数进行数据富化 构建字典与表格进行数据富化 使用DSL加工函数过滤VPC流日志公网流量 父主题: 日志加工(邀测)
日志转储 创建日志转储(旧版) 创建日志转储(新版) 删除日志转储 更新日志转储 查询日志转储 注册DMS kafka实例 父主题: API说明
接复制访问密钥ID。 - 添加仪表盘。 在左侧菜单栏中,单击 选择Dashboards,在New dashboard页面中,单击add an empty panel。 在New dashboards页面中,选择hws-lts-grafana-datasource-plugin插件和填写对应的sql语句。
查看LTS告警列表 云日志服务支持对日志数据进行监控,通过配置关键词告警规则或sql告警规则,定时查询日志数据。当设置的匹配条数或条件表达式满足时,将告警进行上报,用户可以在LTS控制台查看告警。 前提条件 已创建告警规则。 查看告警 登录云日志服务控制台。 左侧导航选择“日志告警”。
from (select APPROX_COUNT_DISTINCT(remote_addr) as "uv" from log)) 访问量PV分布(中国)图表所关联的查询分析语句如下所示: select ip_to_province(remote_addr) as province
from (select APPROX_COUNT_DISTINCT(remote_addr) as "uv" from log)) 访问量PV分布(中国)图表所关联的查询分析语句如下所示: select ip_to_province(remote_addr) as province
Too Many Requests 当前请求过多。 500 Internal Server Error 请求未完成,服务异常。 503 Service Unavailable 系统暂时不可用,请求受限。 父主题: 附录
完成后,单击Save & Test。 添加仪表盘 在左侧菜单栏中,单击 选择Dashboards,在New dashboard页面中,单击add an empty panel。 在New dashboards页面中,选择hws-lts-grafana-datasource-plugin插件和填写对应的sql语句。
结构化模板:适用于日志结构比较复杂或需要自定义提取key-value键值的场景,可以通过内置系统模板或者自定义模板提取字段。 结构化后的日志数据可理解为数据库中的二维表,结构化配置完成后就可以使用SQL语句对提取的字段进行查询与分析。 开启“自动配置索引和快速分析”开关,将使用结构化字段配置字段
结构化模板:适用于日志结构比较复杂或需要自定义提取key-value键值的场景,可以通过内置系统模板或者自定义模板提取字段。 结构化后的日志数据可理解为数据库中的二维表,结构化配置完成后就可以使用SQL语句对提取的字段进行查询与分析。 开启“自动配置索引和快速分析”开关,将使用结构化字段配置字段
创建订阅 无 lts:filtersAction:put 启停日志过滤器 无 lts:overviewLogsTopTopic:get 查询日志量最大的主题的数据指标 无 lts:datasources:put 修改datasource 无 lts:structConfig:delete