检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据富化 从OBS获取csv文件进行数据富化 使用e_dict_map、e_search_dict_map函数进行数据富化 构建字典与表格进行数据富化 使用DSL加工函数过滤VPC流日志公网流量 父主题: 日志加工(邀测)
管理日志组 日志组(LogGroup)是云日志服务进行日志管理的基本单位,用于对日志流进行分类,一个日志组下面可以创建多个日志流。日志组本身不存储任何日志数据,仅方便您管理日志流,每个账号下可以创建100个日志组。 一个日志组通常对应公司内的某一个项目/业务,建议将某个项目/业务
对于加密的OBS桶,选择密钥名称。如果没有可选择的密钥,单击“创建密钥并授权”,进入数据加密控制台,创建密钥。 - 自定义转储路径 开启:将日志转储至自定义路径中,用于区分不同日志流之间的转储日志文件。 格式为:/LogTanks/RegionName/%GroupName/%StreamName/
func main() { // 获取默认配置 producerConfig := producer.GetConfig() // 上报地址 producerConfig.Endpoint = endpoint // accessKeyId:华为云账号的AK, 认证用的AK硬编
LTS提供的IP与地域之间的关系,来自于第三方IP库,且数据是周期性更新(约半年),不承诺IP与地域关系完全正确;后续LTS会优化,缩短IP库的更新周期,为用户提供更好的体验。 单IP函数聚合查询的数据量上限为500万,查询的数据超出上限可能导致查询超时。 功能描述 IP函数是分析目标IP地址所属的国家、省份、城市及对应的网络运营商。
企业路由器ER接入LTS 支持ER企业路由器日志接入LTS。 具体接入方法请参见创建流日志。 父主题: 使用云服务接入LTS
30 默认30条上报条数阈值,当缓存到达阈值时上报缓存中的数据 30 <= cacheThreshold <= 1000。 timeInterval number 选填 3 默认3s 上报阈值时间,当达到阈值时间上报缓存中的数据 1 <= timeInterval <= 1800。 platform
总包数、REJECT总字节数、REJECT总包数、源地址的Action次数分布、总分钟Action次数、Action分布、流日志记录状态分布、Action次数的源地址运行商分布、Top5字节数的源地址、Top5字节数的目标地址、Top5包数的目标端口、各协议的每分钟包数、弹性网卡。
过身份认证。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 SK(Secret Access Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。
各类Kafka Producer SDK或采集工具,仅依赖于Kafka协议。支持以下场景: 场景1:已有基于开源采集的自建系统,仅修改配置文件便可以将日志上报到 LTS,例如Logstash。 场景2:希望通过 Kafka producer SDK 来采集日志并上报,不必再安装采集ICAgent。
为确保Web小程序日志上报正常,需将上报地址添加到Web开发者平台域名列表,上报地址请参见配置参数说明。 NPM方式安装SDK 安装方法:在项目根目录下通过运行“npm i lts-web-sdk”命令,安装SDK软件包。 您可以在开源仓地址下载最新的SDK。 示例代码: const
类别 限制项 说明 备注 日志生成指标 1个账号的日志生成指标-规则总数 单个账号的日志生成指标规则数,默认限制<=10,该限制是软件层面的元数据限制。 每个日志生成指标规则后台会默认分配1个后台执行任务,单个后台执行任务能处理的源日志流量有一定的性能规格。如果您的源日志流量超过单个
当ELB日志接入云日志服务后,您可以通过SQL语句查询分析日志,将日志结果保存为多种图表,并将图表保存至仪表盘,从而使用仪表盘实时分析ELB日志数据。 前提条件 已采集ELB日志,具体操作,请参见ELB接入。 已对日志内容完成结构化配置,具体操作请参考日志结构化概述。 限制条件 一个日志流最多可创建100个图表。
AccessKeySecret 华为云账号的SK。 String 必填 - RegionName 云日志服务的区域。 String 必填 - Endpoint 上报的服务器域名或IP。 String 必填 - MaxBlockSec 如果 producer 可用空间不足,调用者在 send 方法上的最大阻塞时间,默认为
文档数据库服务DDS接入LTS 支持文档数据库服务DDS日志接入LTS。 具体接入方法请参见日志配置管理。 父主题: 使用云服务接入LTS
OBS日志桶名称。当创建OBS转储时,必填此参数。 最小长度:3 最大长度:63 最小长度:3 最大长度:63 obs_encrypted_id String OBS转储KMS密钥ID。根据OBS转储日志桶是否加密判断,若OBS转储日志桶加密则必须填写该参数,若OBS转储日志桶则不需要此参数。 最小长度:36 最大长度:36
ana\data\plugins。 下载的LTS-Grafana插件压缩包解压到当前位置,这样成功提取文件(文件名为lts-grafana-plugin)。 将提取到的文件(文件名为lts-grafana-plugin)拷贝到GrafanaLabs\grafana\plugins
} } } } 在返回结果中获取响应体中获取临时访问密钥。 图4 获取临时访问密钥 根据2获取的临时访问密钥获取登录X-Subject-LoginToken。 接口类型:POST 接口url:https://Endpoint/v3
addr字段不符合IP地址格式的日志。 通过流程控制函数中的e_if函数、操作符函数中的op_and和op_or函数、IP解析函数中的ip_cidrmatch函数删除内网日志。 更多加工语法请参考DSL数据加工语法(邀测)。 在“测试数据”页签输入测试数据,参考如下:(以下示例仅供参考,请以实际上报的数据为准)
修改Grafana配置文件 打开配置文件: 使用YUM或RPM安装的Grafana:/etc/grafana/grafana.ini 使用.tar.gz文件安装的Grafana:{PATH_TO}/grafana-{VERSION}/conf/defaults.ini 在配置文件的[plug