检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据仓库服务GaussDB(DWS)接入LTS 支持数据仓库GaussDB(DWS)日志接入LTS。 具体接入方法请参见集群日志管理。 父主题: 使用云服务接入LTS
日志转储至DWS 数据仓库服务GaussDB(DWS) 是一种基于华为云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。转储至数据仓库服务GaussDB(DWS) ,可以将日志中的结构化字段转储到DWS数据库表中,您可以根据业务场景选择是否使用DWS进行日志转储。
分布式消息服务Kafka版接入LTS - 14 DRS 数据复制服务 访问日志 数据复制服务DRS接入LTS - 15 DWS 数据仓库服务 CN节点日志 DN节点日志 操作系统messages日志 审计日志 数据仓库服务GaussDB(DWS)接入LTS - 16 ECS 弹性云服务器 全量日志(ICAgent采集文本日志)
中连续捕获、传送和存储数TB数据。 数据仓库服务 GaussDB(DWS) 数据仓库服务(Data Warehouse Service,简称DWS)是完全托管的企业级云上数据仓库服务,具备高性能、低成本、易扩展等特性,满足大数据时代企业数据仓库业务诉求。适用于对海量日志进行存储,分析等场景。
如您有更大的使用需求,请提交工单申请。 数据量 单个日志流单次最大分析24GB数据。 如果您的数据量远超LTS提供的分析规格,请您购买DWS服务,配置日志转储DWS,使用数据仓库分析。 开启模式 默认不开启。 不涉及。 数据生效机制 日志结构化只对新增结构化配置之后写入的数据生效。 不涉及。 返回结果 默认最多返回100条数据。
分布式缓存服务DCS接入LTS 文档数据库服务DDS接入LTS DDoS防护 AAD接入LTS 分布式消息服务Kafka版接入LTS 数据复制服务DRS接入LTS 数据仓库服务GaussDB(DWS)接入LTS 弹性负载均衡 ELB接入LTS 企业路由器ER接入LTS 函数工作流FunctionGraph接入LTS
ELK:需要自己部署程序将日志转发到KAFKA。 LTS:页面简单配置可以将日志实时转储到KAFKA。 日志转储 转储到数据仓库 ☆☆☆☆☆ 无 ELK:无法直接将日志转储到数据仓库。 LTS:页面简单配置可以将日志转储到数据仓库。 日志加工 定时SQL作业 ☆☆☆☆☆ 无 ELK:没有定时SQL作业能力。 LTS
云日志服务提供数据加工功能,用于数据的规整、富化、脱敏和过滤。 数据规整:针对混乱格式的日志进行字段提取、格式转换,获取结构化数据以支持后续的流处理、数据仓库计算。 数据富化:对日志(例如订单日志)和维表(例如用户信息表)进行字段连接(JOIN),为日志添加更多维度的信息,用于数据分析。 数据
for SQLServer接入LTS PostgreSQL 云数据库RDS for PostgreSQL接入LTS 云数据库 GaussDB 数据仓库服务GaussDB(DWS)接入LTS 云数据库 GeminiDB 云数据库GeminiDB接入LTS 云数据库GeminiDB Mongo接入LTS
参数类型 是否必填 说明 value 任意(自动转为String) 是 需要被检测的字符串。 返回结果 true/false。 函数示例 测试数据 { "value": "ltsv5" } 加工规则 e_set("str_isalnum", str_isalnum(v("value")))
String 是 作为字典key的字符串。 value String 是 作为字典value的字符串。 返回结果 返回构建的字典。 函数示例 测试数据 { "content": "test" } 加工规则 e_set("hello", dct_make("k1","v1","k2"
说明 value1 String 是 列表的元素。 value2 String 是 列表的元素。 返回结果 返回构建后的列表。 函数示例 测试数据 { "content":"test" } 加工规则 e_set("hello", lst_make("k1","k2")) 加工结果
string 是 转换后的格式 str1 任意 是 待格式化的值1 str2 任意 是 待格式化的值2 返回结果 格式化后的字符串。 函数示例 测试数据:无 加工规则 e_set("result", str_format("{}={}", "lts", 8)) 加工结果 result:
P的方式去连通LTS后端将数据转发到LTS。 跳板机:跳板机作为数据转发器,将区域外主机ICAgent采集到的数据转发给LTS。当您在进行测试,或者日志流量并不大的情况下,可以使用跳板机的方案。对于大流量日志场景推荐您使用VPCEP。 VPCEP:即VPC终端节点,能够提供便捷、
任意(自动转为String) 否 字符串开头和结尾需要删除的字符集,默认为\t\r\n。 返回结果 修改后的字符串。 函数示例 示例1:删除空格。 测试数据 { "source":" lts" } 加工规则 e_set("str_strip", str_strip(v("source")))
安装在自建IDC/第三方云厂商/跨华为云Region的ICAgent无法直接访问华为云管理面上报日志的网段,需要配置跳板机进行数据转发;当您在进行POC测试,或者日志流量并不大的情况下,可以使用跳板机的方案。对于大流量的日志场景,如果您希望在生产环境中去掉跳板机,请提交工单给华为云网络技术支持工程师帮您设计网络直通的方案。
true:直接报错,数据加工不再继续处理,直接丢弃该条日志。 返回结果 返回提取到的值。 函数示例 示例1:从content字段提取元素name的值。 测试数据 { "content": {"name": "xiaoming", "age": 10} } 加工规则 e_set("json_filter"
安装在自建IDC/第三方云厂商/跨华为云Region的ICAgent无法直接访问华为云管理面上报日志的网段,需要配置跳板机进行数据转发;当您在进行POC测试,或者日志流量并不大的情况下,可以使用跳板机的方案。对于大流量的日志场景,如果您希望在生产环境中去掉跳板机,请提交工单给华为云网络技术支持工程师帮您设计网络直通的方案。
在LTS控制台如何手动删除日志数据? 不可以手动删除日志数据。LTS后台会根据设置的日志存储时间自动清理过期的日志数据。 设置日志存储时间请参考管理日志流。 父主题: 日志搜索与分析
函数示例 Ipv4地址。 测试数据 { "ip": "10.21.115.10" } 加工规则 e_set("version",ip_version(v("ip"))) 加工结果 ip: 10.21.115.10 version: IPv4 Ipv6地址。 测试数据 { "ip":