检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Secret>" } 场景5:IP地址脱敏 日志中包含IP地址信息,可同时运用regex_replace函数,对IP地址进行正则捕获后而脱敏。 原始日志 { "content":"ip is 192.0.2.10" } 加工规则 e_set("ip_encrypt",rege
流的数量不至于太多而难以管理,如果您的组件数量比较少(例如小于20个),您可以将每个组件的日志采集到不同的日志流。 如果您的日志是类似NGINX网关这种可以结构化解析的日志,建议您将有相同格式的日志采集到同一个日志流。因为统一的日志格式才能方便您后续统一使用SQL分析功能,实现可视化图表分析。
: "error\""或者fieldName : "error\" 例如日志内容为instance_id:nginx"01",您可以使用instance_id:nginx\"01\"进行查询。 * 通配符查询,匹配零个、单个、多个字符。 host:aliyund*c ? 通配符查询,匹配单个字符。
当前仅支持华北-北京四、华东-上海一、华南-广州的白名单用户,如有需要请提工单申请。 传输协议 HTTPS 使用前提 参考注册华为账号并开通华为云中操作,完成注册。 确认云日志服务的区域,请您根据所在区域,选择RegionName。 获取华为云账号的项目ID(project id),步骤参考:请参见“我的凭证
设备记录、设备异常记录、网络使用记录等,可以直接使用快应用SDK上报日志到LTS。 传输协议 HTTPS 使用前提 参考注册华为账号并开通华为云中操作,完成注册。 确认云日志服务的区域,请您根据所在区域,选择RegionName。 获取华为云账号的项目ID(project id),步骤参考:请参见“我的凭证
schema名称 数据库对象的集合名称。 - 表名 schema中的表名称。 - 字段映射 将内置字段以及日志中配置的结构化字段和类型,映射到数据库字段。 内置字段有13个,分别是hostIP、 hostId、hostName、pathFile、collectTime、clusterName、clusterId、
注册DMS kafka实例 功能介绍 该接口用于注册DMS kafka实例。 在注册DMS kafka实例前,需要在安全组中,开放入方向规则198.19.128.0/17和9011端口。 如果DMS kafka实例的子网配置了ACL,则需要在该子网的网络ACL中,开放入方向规则198
}, { "fieldName" : "eip_address", "content" : "-", "type" : "string" }, { "fieldName" : "eip_port", "content" : "80"
"fieldName" : "eip_address", "content" : "-", "type" : "string", "isAnalysis" : true }, { "fieldName" : "eip_port", "content"
单击“购买终端节点”。 在购买终端节点页面,选择终端节点所在的区域,“服务类别”选择“云服务”,在“选择服务”下方查找并选择AOM的云服务,并且勾选“创建内网域名”,选择终端节点所在的虚拟私有云和子网,其他参数默认设置。更多操作请参考购买终端节点。 设置完成后,单击“立即购买”。购买成功后,即可完成AOM终端节点的创建。
当前仅华北-北京四、华东-上海一、华南-广州区域的白名单用户支持使用该功能,如有需要请提工单申请。 传输协议 HTTPS 使用前提 参考注册华为账号并开通华为云中操作,完成注册。 确认云日志服务的区域,请您根据所在区域,选择RegionName。 获取华为云账号的项目ID(project id),步骤参考:请参见“我的凭证
虚拟私有云(Virtual Private Cloud,VPC)是隔离的、私密的虚拟网络环境。用户可以自由配置VPC内的IP地址段、子网、安全组等子服务,也可以申请弹性带宽和弹性公网IP搭建业务系统。 VPC日志流中记录了虚拟私有云中的流量信息,可以帮助您检查和优化安全组和网络ACL控制规则、监控网络流量、进行网络攻击分析等。
Double类型的字段值最多52位。 如果浮点数编码位数超过52位,会造成精度损失。 不涉及。 IP函数时效性 IP函数是可以分析IP地址所属的国家、省份、城市及对应的网络运营商,该函数依赖的后台数据库每半年更新一次,可能出现少量IP与地理位置映射未及时更新的情况。 不涉及。 SQL分析时间范围 仅支持分析30
示地理数据信息。云日志服务(LTS)提供的地图,包括中国地图和世界地图。您在查询和分析语句中使用特定函数(中国地图:ip_to_province函数,世界地图:ip_to_country函数)后,云日志服务(LTS)将以地图形式展示分析结果。 基本构成如下: 地图画布 色块 查看地图
全局操作函数 映射富化函数 字段值提取函数 字段操作函数 事件操作函数 流程控制函数 父主题: DSL数据加工语法(邀测)
结构化日志的一系列方法,方便用户直接使用编码方式上报未结构化日志到云日志服务后台。 传输协议 HTTPS 使用前提 参考注册华为账号并开通华为云中操作,完成注册。 确认云日志服务的区域,请用户根据所在区域,选择RegionName。 获取华为账号的AK/SK。 获取华为云账号的项目ID(project
log4的日志时间为:1586850540000000008 上传的一批日志是在不同时间、非顺序产生的,希望每条日志的时间单独指定。 表2 访问IP(accessip) 区域 访问IP 华北-北京一 100.125.57.101 华北-北京二 100.125.6.108 华北-北京四 100.125.12
转储OBS(ORC格式)、转储DWS、转储DLI属于日志高级转储,典型特征是源日志流和转储目标之间需要字段映射,日志高级转储算力消耗相对日志基础转储较多。 转储流量会统计非压缩的转储数据量,以转储DWS流量统计为例: 若用户将转储日志样例中的ip、status、cost_time、url 4个字段都转储到DWS数仓
他局点需要提交工单申请使用。 相关限制 当前仅支持内网上报,端口固定为9095,IP根据所在局点进行配置。 支持 Kafka 协议版本为:1.0.X,2.X.X,3.X.X。 支持压缩方式:gzip,snappy,lz4。 KAFKA认证方式为 SASL_PLAINTEXT 认证。
程度较高的日志,过滤掉不相关的日志,以便对结构化后的日志按照SQL语法进行查询与分析。 支持区域: 全部 正则分析 JSON 分隔符 Nginx 结构化模板 可视化 可视化提供对结构化后的日志字段进行SQL查询与分析的功能。对原始日志结构化后,等待1~2分钟左右即可对结构化后的日志进行SQL查询与分析。