检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
多行-全文日志:采集的日志中包含像java异常的日志,如果您希望多行异常的日志显示为一条日志,正常的日志则每一行都显示为一条单独的日志数据,则选择多行日志,方便您查看日志并且定位问题。 JSON:适用JSON格式的日志,通过提取JSON字段将其拆分为键值对。 分隔符:适用于固定符号(例如空格/逗号/冒号)分隔的日志。
您可以在“费用中心 > 账单管理”查看与云日志服务相关的流水和明细账单,以便了解您的消费情况。如需了解具体操作步骤,请参见费用账单。 欠费 在使用云日志服务时,账户的可用额度小于待结算的账单,即被判定为账户欠费。欠费后,可能会影响云服务资源的正常运行,需要及时充值。详细介绍请参见欠费说明。
消费组的基本构成单元,承担消费任务,可以根据您的服务自行决定消费者数量。 Shard 云日志服务将数据必定保存在某一个Shard中,是数据存储的基本单元。 CheckPoint 消费点位,是消费者消费到的最新位置。程序重启后,SDK会自动通过CheckPoint恢复上次的消费进度。
参考日志仪表盘模板。 约束与限制 日志可视化相关的功能支持全部用户使用的局点有:华南-广州、华北-北京四、华北-乌兰察布二零一、华北-乌兰察布一、华东-上海一、华东-上海二、中国-香港、西南-贵阳一、亚太-新加坡、华北-北京一;支持部分白名单用户使用的局点有:亚太-曼谷、华南-深
加工规则 通过原始日志中的account字段和OBS CSV文件中的account字段进行匹配,只有account字段的值完全相同,才能匹配成功。匹配成功后,返回OBS CSV文件中的nickname字段和字段值,与原始日志中的数据拼接,生成新的数据。 e_table_map
Language)加工是LTS为您提供的一站式日志加工平台,基于领域自定义的脚本语言和200多个内置函数,您可以在LTS控制台实现端到端的日志规整、富化、脱敏、过滤等加工任务。 约束与限制 DSL加工的功能在邀测中,仅支持华北-北京四、华东-上海一、华南-广州局点的内测用户使用,其他局点暂不支持。
数字或统一的数据模型加以描述的数据,具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据,数据结构不规则或不完整,没有预定义的数据模型。 日志结构化是以日志流为单位,通过不同的日志提取方式将日志流中的日志进行结构化,提取出有固定格式或者相似程度较高的日志,过滤
数字或统一的数据模型加以描述的数据,具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据,数据结构不规则或不完整,没有预定义的数据模型。 日志结构化是以日志流为单位,通过不同的日志提取方式将日志流中的日志进行结构化,提取出有固定格式或者相似程度较高的日志,过滤
keep_fields Tuple 否 返回结果中包含的key信息。支持的key如下列表: city:城市名称。 province:省份名称。 country:国家名称。 isp:所属网络运营商名称。 lat:IP地址所在位置的纬度。 lon:IP地址所在位置的经度。 例如keep_fields=("city"
参数名称 参数类型 是否必填 说明 value1 数字或数字字符串 是 待计算的值。 value2 数字或数字字符串 是 待计算的值。 返回结果 返回值1的值2次方的结果。 函数示例 计算course的pow次方的值。 测试数据 { "course": 100, "pow": 2 }
通过日志流标签统计不同部门在LTS的费用开销 为了统计企业内部不同部门在LTS的费用开销情况,您可以在LTS的日志流上添加标签用于识别不同的业务部门,LTS在上传话单给费用中心时会带上这些标签信息。您可以在“账单管理 > 流水和明细账单 > 明细账单”下载LTS的明细账单信息,然后基于资源
通过日志流标签统计不同部门在LTS的费用开销 为了统计企业内部不同部门在LTS的费用开销情况,您可以在LTS的日志流上添加标签用于识别不同的业务部门,LTS在上传话单给费用中心时会带上这些标签信息。您可以在“账单管理 > 流水和明细账单 > 明细账单”下载LTS的明细账单信息,然后基于资源
方便快捷的方式进行查询,并且可以长期存储。 采集到日志数据按照结构化和非结构化进行分析。结构化日志是通过规则将日志流中的日志进行处理,提取出来有固定格式或者相似度高的日志内容做结构化的分类。这样就可以采用SQL的语法进行日志的查询。 海量日志存储搜索 对采集的日志数据,可以通过关
TS支持的操作系统,否则无法使用LTS对主机日志进行采集。 对于Linux x86_64服务器,LTS支持上表中所有的操作系统及版本。 对于Linux ARM服务器,CentOS操作系统仅支持7.4 及其以上版本,上表所列的其他操作系统对应版本均支持。 表1 LTS支持的操作系统及版本(Linux)
构建字典与表格进行数据富化 字典和表格是对数据进行富化时主要使用的两种数据结构,本文档主要介绍这两种数据结构的常见构建方式,并对比不同构建方式的优缺点。 字典构建 不同字典构建方式对比参考如下: 表1 不同字典构建方式对比 构建方式 优点 缺点 直接构建 直观、简单、方便。 如果
gZone),不同的业务部门使用不同的账号,实现权限、资源等的隔离,提高账号的安全性。 集团公司的安全合规部门有统一收集日志的诉求,期望将不同账号下各个业务部门的关键日志集中存储和分析,汇聚到一个日志账号中,用于应对不同国家和地区的安全合规审计要求。 集团公司的运营部门也可能出于
减小查询时间范围后,再进行查询。 查询日志时匹配到的日志结果过多 可能原因:只有短语搜索#"value"才能保证关键词出现的顺序。例如查询语句abc def搜索的是同时包含abc和def的日志,无法准确匹配包含短语abc def的日志。 解决方法:推荐采用短语搜索#"abc def",可以准确匹配包含短语abc
数据类别(多为连续时间间隔)上的变化情况,用于直观分析数据变化趋势。在折线图中,可以清晰的观测到数据在某一个周期内的变化,主要反映在: 递增性或递减性 增减的速率情况 增减的规律(如周期变化) 峰值和谷值 所以,折线图是用于分析数据随时间变化趋势的最佳选择。同时,也可以绘制多条线
regexp_replace函数 删除或替换目标字符串中符合正则表达式的子串。 删除目标字符串中符合正则表达式的子串,返回未被删除的子串。 语法:regexp_replace(expr, regularExpr) 替换目标字符串中符合正则表达式的子串,返回被替换后的字符串。 语法:regexp_replace(expr
scala:220) 日志内容 记录了具体的日志信息,可能是描述性的文本、错误消息、堆栈跟踪等。 starting 日志位置 默认情况下,Kafka的系统日志文件可能位于Kafka安装目录的logs子目录下,但具体位置可能会因配置而异。以下是一些常见的方法用于找到Kafka的系统日志文件位置: 查看Kafka安装目录。