检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解析与更新JSON数据 本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。 场景一:展开和提取JSON对象 日志中包含JSON对象时,您可以通过e_json函数展开和提取对象。 示例:指定字段名精确提取JSON对象值,例如展开data字段值中的第一层键值对。 原始日志 { "data":
VPC)或本地网络来构建中心辐射型组网,是云上大规格、高带宽、高性能的集中路由器。企业路由器使用边界网关协议(Border Gateway Protocol, BGP),支持路由学习、动态选路以及链路切换,极大的提升网络的可扩展性及运维效率,从而保证业务的连续性。 云日志服务支持日志采集向导一站式采集
根据字符串、数组、元组的下标返回其对应的元素。 一般性多值操作 op_add 计算多个值的和,可以是字符串或者数字等。 op_max 计算多个字段或表达式表示的数值的最大值。 op_min 计算多个字段或表达式表示的数值的最小值。 op_if 根据判断条件返回不同表达式的值。 函数格式 op_if(condition
志转储流量计费结算费用。 按需计费模式允许您根据实际业务需求灵活地调整资源使用,无需提前预置资源,从而降低预置过多或不足的风险。 如您需要快速了解LTS服务的具体价格,请参见LTS价格详情。 父主题: 计费模式
逻辑or运算。 op_not 逻辑not运算。 op_nullif 判断两个表达式的取值。 op_ifnull 返回第一个值不为None的表达式的值。 op_coalesce 返回第一个值不为None的表达式的值。 e_has 判断字段是否存在。 函数格式 e_has("key") 参数说明
单击“下一步”,无需加入用户组。 单击“创建用户”,IAM用户创建完成,用户列表中显示新创建的IAM用户。 在“下载访问密钥”对话框,单击“确定”,访问密钥下载成功。更多操作请参考创建IAM用户。 新创建的用户无控制台访问权限,其AK/SK也无云服务的读写权限,只能上报日志到LTS。 使用iOS SDK、Android
LTS地图 以地图作为背景,通过图形颜色、图像标记的方式展示地理数据信息。云日志服务(LTS)提供的地图,包括中国地图和世界地图。您在查询和分析语句中使用特定函数(中国地图:ip_to_province函数,世界地图:ip_to_country函数)后,云日志服务(LTS)将以地图形式展示分析结果。
CSE层访问中心”,查看图表详情。 过滤上游IP,所关联的查询分析语句如下所示: select distinct(upstream_host) 过滤调用链trace_id,所关联的查询分析语句如下所示: select distinct(trace_id) PV对比昨日图表所关联的查询分析语句如下所示: select
REGEXP_LIKE(expr, pattern) 判断字符串是否匹配指定的正则表达式。如想精确匹配,请在正则表达式前后分别加上符号^和$。该函数与LIKE语句用法类似,区别在于LIKE语句搜索的是匹配指定模式的内容。 SELECT REGEXP_LIKE(str1, '\.(jpg|jpeg|png|gif)$')
LTS日志转储状态显示异常是什么原因? 在云日志服务LTS控制台的“日志转储”页面,日志转储任务的状态显示异常,有可能是如下原因引起: 可能原因:OBS桶策略异常。 解决方法:请您在对象存储服务中设置访问控制策略。详细请参考配置桶策略。 可能原因:Kafka集群被删除。 解决方法
厂商对象存储上,希望将日志搬迁到华为云,对于不同的日志类型,请参考如下方法: 热日志(用于搜索分析):典型保存7-14天,用于应用运维,该日志不需要搬迁到华为云。用户在华为云直接启用云日志服务LTS,运行14天后,第三方云厂商保存的日志自然就老化了。详细请参考日志管理。 归档日志
访问控制 对企业中的员工设置不同的LTS访问权限,以达到不同员工之间的权限隔离,使用统一身份认证服务(Identity and Access Management,简称IAM)进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全的控制华为云资源的访问。详细如下:LTS权限管理。
日志接入概述 日志接入是指通过各种手段采集应用程序或服务在运行时产生的系统运行状态、错误信息、用户操作记录等日志信息,并将这些日志信息存储到指定的位置,以便后续分析和使用。这些日志信息对于系统运维、故障排查以及业务分析都具有重要意义。 云日志服务提供实时日志接入功能,通过ICAg
云数据库GeminiDB接入LTS 支持云数据库GeminiDB日志接入LTS。配置访问日志后,GeminiDB Redis实例新生成的日志记录会上传到云日志服务(Log Tank Service,简称LTS)进行管理。 具体接入方法请参见日志配置管理。 父主题: 使用云服务接入LTS
报,那么到第11天时,第1天的日志会存储到冷存储中,到第12天时,第2天的日志会存储到冷存储中,以此类推。 图1 冷存储 问题:冷存储的日志是否能重新变成标准存储日志? 答:不能,冷存储的日志不支持重新转为标准存储。 问题:标准存储的日志转换成冷存储的生效周期有多久? 答:1个小时内。
计费项 云日志服务的计费项由日志读写流量、日志索引流量、日志存储量(包括标准存储和冷存储)、日志转储(包括日志基础转储流量和日志高级转储流量)的费用组成。了解每种计费项的计费因子、计费公式等信息,请参考计费项。 如需了解实际场景下的计费样例以及各计费项在不同计费模式下的费用计算过程,请参见计费样例。
方法1:更新表在元数据库中的分区信息 登录DLI控制台。 左侧导航栏选择“作业管理-SQL作业”。 单击对应队列的操作列“编辑”,进入详情页,在编辑框输入命令“MSCK REPAIR TABLE table_name”,table_name为有分区表的表名称。例如更新表名称为lts_qpg_dli的分区表。
解析CSV格式日志 本文档介绍在解析Syslog或者其他文本格式时,针对数据中以特殊字符分隔的格式如何进行解析。 解析正常形式的CSV格式日志 原始日志: { "program":"access", "severity":6, "priority":14, "facility":1
url_extract_host函数 提取URL中的host信息。 url_extract_parameter函数 提取URL中的参数信息。 url_extract_path函数 分割目标字符串,返回被分割后的子串合集。 url_extract_port函数 提取URL中的端口信息。 url_extract_protocol函数
达式作为参数传递,则结果为 NULL。表达式必须全部转换为公共数据类型,即结果的类型有: 如果所有的参数都是 NULL,结果是 NULL,否则,NULL 参数被忽略。 如果所有的参数包含了数字和字符串的混合,参数都被解释为字符串。 如果所有的参数是整型数字,参数都被解释为长整型。