检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"srcaddr" as "源IP", "dstaddr" as "目的IP", "srcport" as "源端口", "dstport" as "目的端口", "protocol" as "协议类型", "direct" as "流量方向", "packets" as "包数", "bytes"
目标字段名,也可以通过字符串表达式获得该字段名。 value 任意 是 新的字段值。非字符串都转化成字符串放入日志中,其中元组、列表、字典会转换成JSON对象的字符串。 说明 如果传递的值是None,则不会进行更新操作。 mode String 否 字段的覆盖模式。默认为overwrite。 返回结果
通3年存储时长。 降低存储成本: 使用LTS在23年1130公测的冷存储特性,冷存储的日志存储单价比OBS仅贵25%,但是可以支持搜索,在易用性和成本上是最佳选择。 转储至OBS,优点是成本低,缺点是不支持搜索历史日志的内容,使用不便利。 大数据组件日志采集场景 场景描述:有些用
csv”或“.txt”,单击“开始下载日志”,可将日志导出至本地。 前往创建转储:通过OBS转储任务下载日志文件,单次下载支持最大2,000万条日志。单击“前往创建转储”,跳转至配置转储页面,详细请参考日志转储至OBS。 鼠标悬浮在按钮上,单击“日志下载历史”,在日志下载历史页面,支持查看、下载、删除日志下载记录。
用于引用多个值的配对类字符的引用符。 lstrip String 否 是否将值左边的空格去掉,默认为true。 jmes String 否 将字段值转化为JSON对象,并使用JMES提取特定值,再进行分裂操作。 output String 否 设置一个新的字段名,默认覆盖旧字段名。 返回结果 返回日志列表,列表中字段的值都是源列表中的值。
csv”或“.txt”,单击“开始下载日志”,可将日志导出至本地。 前往创建转储:通过OBS转储任务下载日志文件,单次下载支持最大2,000万条日志。单击“前往创建转储”,跳转至配置转储页面,详细请参考日志转储至OBS。 鼠标悬浮在按钮上,单击“日志下载历史”,在日志下载历史页面,支持查看、下载、删除日志下载记录。
方法:初始化拦截器操作,读取配置信息、建立连接等。 intercept(Event event) 方法:用于拦截单个事件,并对事件进行处理。接收一个事件对象作为输入,并返回一个修改后的事件对象。 intercept(List<Event> list) 方法:事件批处理,拦截事件列表,并对事件列表进行处理。 close()
方法:初始化拦截器操作,读取配置信息、建立连接等。 intercept(Event event) 方法:用于拦截单个事件,并对事件进行处理。接收一个事件对象作为输入,并返回一个修改后的事件对象。 intercept(List<Event> list) 方法:事件批处理,拦截事件列表,并对事件列表进行处理。 close()
自定义图表名称,用于区分日志流下不同的图表。 仅支持中英文、数字、中划线、下划线、空格、括号、小数点,不能以小数点、空格开头或结尾。长度为1-64个字符。 可视化对象 默认语句“SELECT * ”,表示查询该日志流内的结构化数据,其中*为结构化字段。 如需自行编辑SQL语句,请参考SQL分析语法介绍。
能出现的异常问题。 配置数据源。 选择源日志组,若没有,则单击创建日志组。 超出存储时间的日志将会被自动删除,您可以按需将日志数据转储至OBS桶中长期存储。 如果您的日志尚未接入LTS,请参考日志接入,创建日志接入规则,并配置结构化解析规则。 选择日志流,若没有,则单击创建日志流。
原始日志流量:原始日志数据的大小。 基础转储流量:开启日志转储计费功能后,才会显示基础转储流量。日志转储不需要字段映射,转储算力消耗少,例如转储OBS/DMS/DIS。 高级转储流量:开启日志转储计费功能后,才会显示高级转储流量。日志转储需要字段映射,转储算力消耗较多,例如转储DWS/DLI。
创建Flink Jar作业时需要上传lts-flink-connector-1.0.3.1.jar的程序包。在选择程序包之前需要将对应的Jar包上传至OBS桶中,并在“数据管理>程序包管理”中创建程序包,具体操作请参考创建程序包。 FlinkLtsLogConsumer FlinkLtsLog