检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
字段的覆盖模式。默认为fill-auto。 JSON展开过滤 如果设置了节点允许名单,则内容必须包含在节点允许名单中然后才会在结果中出现。节点允许名单正则示例:e_json("json_data_filed", ...., include_node=r'key\d+')。 如果设置了节点限制名单,则内容必须包含在
gz文件安装的Grafana:{PATH_TO}/grafana-{VERSION}/conf/defaults.ini 在配置文件的[plugins]节点中,设置allow_loading_unsigned_plugins参数 allow_loading_unsigned_plugins = hw-
gz文件安装的Grafana:{PATH_TO}/grafana-{VERSION}/conf/defaults.ini 在配置文件的[plugins]节点中,设置allow_loading_unsigned_plugins参数 allow_loading_unsigned_plugins = hw-
Array of LogContents 包含上报时间戳的日志内容列表。 labels 是 Object 用户自定义label。 请不要将字段名称设置为内置保留字段,否则可能会造成字段名称重复、查询不精确等问题。 tenant_project_id 否 String 租户项目ID,获取方
字段。 单击操作列下的,删除不需要转储的字段。 表普通列映射和表分区列映射添加表字段的总数为创建表的总列数。 - 表分区列映射 存储时根据设置的字段值进行分区。将内置字段以及日志中配置的结构化字段和类型,映射到数据库表字段。 内置字段有13个,分别是hostIP、 hostId、
org/hello/asdah url: https%3A%2F%www.example.org%2FHello%2Fasdah 示例2:对数据进行URL编码。其中,未设置plus参数,不转换数据中的空格为加号。 测试数据 { "content": "1 2+3:4" } 加工规则 e_set("URL"
channels = c1 a1.sinks.k1.channel = c1 使用默认拦截器处理日志 使用Flume采集器时,拦截器是简单的插件式组件,设置在Source和Channel之间。Source接收到的事件Event,在写入Channel之前,拦截器都可以进行转换或者删除这些事件。每
channels = c1 a1.sinks.k1.channel = c1 使用默认拦截器处理日志 使用Flume采集器时,拦截器是简单的插件式组件,设置在Source和Channel之间。Source接收到的事件Event,在写入Channel之前,拦截器都可以进行转换或者删除这些事件。每
日志转储至DIS 在云日志服务管理控制台,左侧导航栏中,单击“日志转储”。 在“日志转储”页面右上角,单击“配置转储”。 在“配置转储”页面,设置转储日志相关参数。 表1 配置转储参数说明 参数名称 说明 示例 日志源 当前账号:对用户所在账号下所产生的日志进行转储。 其他账号:对委
查询返回的行数。 1000 Rows_examined 查询检查的行数(即扫描的行数,可能包括未返回的行)。 100000 SET timestamp= 设置当前会话的时间戳(这通常是为了复制日志的一致性)。 1617012001 SELECT ... 执行的SQL查询。 SELECT * FROM
producer 可用空间不足,调用者在 send 方法上的最大阻塞时间,默认为 60 秒。建议为0秒。 当maxBlockMs值>=0时,则阻塞到设置的时间,如果到达阻塞时间,还是不能获取到内存,即报错且丢弃日志。 当maxBlockMs值=-1时,则一直阻塞到发送成功,且不会丢弃日志。
加工范围:数据加工的时间范围,本示例选择“所有”:从源日志流按收到第一条日志的时间开始数据加工任务,直到加工任务被手动停止。 高级配置:本示例不设置。 然后单击“下一步”,在加工规则下方输入加工语句: # 如果srcaddr和dstaddr字段不存在,丢弃。 e_if(e_not_has("srcaddr")
用于上报的公网地址域名,支持带端口号,比如:https://lts-access.cn-north-4.myhuaweicloud.com:443;如未设置url,将根据region自动生成链接,格式如下:https://lts-access.{region}.myhuaweicloud.com。
需要被替换的字符串。 new 任意(自动转为String) 是 替换后新的字符串。 count Number 否 替换次数,可选项。如果不设置count,则表示替换所有。 返回结果 替换后的新字符串。 函数示例 测试数据:无 加工规则 e_set("str_replace", str_replace("this
producer 可用空间不足,调用者在 send 方法上的最大阻塞时间,默认为 60 秒。建议为0秒。 当maxBlockMs值>=0时,则阻塞到设置的时间,如果到达阻塞时间,还是不能获取到内存,即报错且丢弃日志。 当maxBlockMs值=-1时,则一直阻塞到发送成功,且不会丢弃日志。
的目标端口、各协议的每分钟包数、弹性网卡。 前提条件 已采集VPC日志,详情请参见虚拟私有云VPC接入LTS。 日志配置结构化,详情请参见设置云端结构化解析日志。 查看VPC流日志 登录云日志服务控制台,在左侧导航栏中选择“日志管理”。 在“日志应用”模块中,单击“VPC日志流中心”,选择“进入仪表盘”。
将字符串转换成基于指定基数的Long型,如果未指定基数,则基于十进制对原始字符串进行转换。 split函数 使用指定的分隔符拆分字符串,并返回子字符串的集合。如果设置了limit,则使用limit限制拆分字符串的数量。 split_part函数 使用指定的分隔符拆分字符串,并返回指定位置的字符串。如果拆
用于上报的公网地址域名,支持带端口号,比如:https://lts-access.cn-north-4.myhuaweicloud.com:443;如未设置url,将根据region自动生成链接,格式如下:https://lts-access.{region}.myhuaweicloud.com
producer 可用空间不足,调用者在 send 方法上的最大阻塞时间,默认为 60 秒。建议为0秒。 当maxBlockMs值>=0时,则阻塞到设置的时间,如果到达阻塞时间,还是不能获取到内存,即报错且丢弃日志。 当maxBlockMs值=-1时,则一直阻塞到发送成功,且不会丢弃日志。
EAM_ID, deserializer, configProps)); 监控消费进度(可选) FlinkLtsLogConsumer支持设置消费进度监控,所谓消费进度就是获取每一个shard实时的消费位置,这个位置使用时间戳表示,详细操作可以参考文档创建消费组。 FlinkLtsLogProducer