检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Table 是 映射关系的表格,表格某一列必须是查询字符串。 inpt String 是 表格中用于匹配搜索的字段名。 output_fields String,String List或Tuple List 是 表格中映射出的字段,可以是字符串、列表或者其名称映射元组的列表。 multi_match
只需要关注业务逻辑。 云日志服务通过消费组消费数据,使用消费组功能之前,您需要了解以下基本概念。 目前此功能在邀测中,暂不支持申请开通。 表1 基本概念 概念 说明 消费组 一个消费组只能对应一个日志流且消费这个日志流的数据。 一个日志流只能创建5个消费组。 一个消费组可以被多个
IP地址函数 本文介绍IP地址函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 IP地址函数 函数 描述 ip_to_domain函数 判断目标IPv4地址是内网地址还是外网地址。 ip_prefix函数 获取目标IPv4地址的前缀。 is_prefix_subnet_of函数
null None None ["v1", "v2", "v3"] ["v1", "v2", "v3"] 列表 ["v1", 3, 4.0] ["v1", 3, 4.0] 列表 {"v1": 100, "v2": "good"} {"v1": 100, "v2": "good"} 字典
F-8。 缺省值:None 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 search_criterias Array of search_criteriasBody objects 快速查询 表4 search_criteriasBody 参数 参数类型
添加的字段列表:<字段名称 : 字段内容> drop_keys Array of strings 删除的字段列表 source_keys Array of strings 字段重命名源字段名称列表 dest_keys Array of strings 字段重命名替换的字段名称列表 expand_depth
URL函数 本文介绍URL函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 URL函数 函数 描述 url_encode函数 对URL进行编码。 url_decode函数 对URL进行解码。 url_extract_fragment函数 提取URL中的fragment信息。
除第一天的日志),未开启智能冷存储,使用云日志服务(LTS)30天,基于此场景,具体消费情况如下表1所示。 表格中的价格仅为示例,实际计算请以价格计算器中的价格为准。 表1 计费明细表(免费使用场景) 计费项 说明 使用量 月计费 读写流量 每天读写流量10MB/5(压缩倍率)=
如何获取AK/SK? AK/SK(Access Key ID/Secret Access Key)即访问密钥,表示一组密钥对。 AK:访问密钥ID,是与私有访问密钥关联的唯一标识符。访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 SK:与访问密钥ID结合使用的密钥,对请
单击日志组名称对应的按钮。 单击“创建日志流”,在创建日志流页面,参考表1填写日志流相关信息,需要开启“匿名写入”,适用于端侧SDK上报日志,打开匿名写入则表示该日志流打开匿名写入权限,不会经过有效鉴权,可能产生脏数据。 图1 创建日志流 表1 日志流参数说明 参数 说明 日志组名称 默认显示目标日志组名称。
数据规整:针对混乱格式的日志进行字段提取、格式转换,获取结构化数据以支持后续的流处理、数据仓库计算。 数据富化:对日志(例如订单日志)和维表(例如用户信息表)进行字段连接(JOIN),为日志添加更多维度的信息,用于数据分析。 数据脱敏:对数据中包含的密码、手机号、地址等敏感信息进行脱敏。
采集多渠道日志数据到LTS 日志接入是指通过各种手段采集应用程序或服务在运行时产生的系统运行状态、错误信息、用户操作记录等日志信息,并将这些日志信息存储到指定的位置,以便后续分析和使用。这些日志信息对于系统运维、故障排查以及业务分析都具有重要意义。 云日志服务LTS提供实时日志接
from RUNNING to FINISHED表示任务从运行状态切换到完成状态。 错误信息 如果日志级别为ERROR,则可能包含有关错误的详细信息。 如 Job 83529a6b73e4a3f7046f695a27f67f32 failed. 表示作业失败。 日志位置 在YARN上运行的Flink
服务韧性 LTS服务提供了3级可靠性架构,通过AZ内实例容灾、双AZ容灾、日志数据多副本技术方案,保障服务的持久性和可靠性。 表1 LTS服务可靠性架构 可靠性方案 简要说明 AZ内实例容灾 单AZ内,LTS实例通过多实例方式实现实例容灾,快速剔除故障节点,保障LTS实例持续提供服务。
分裂规则: 如果配置了jmes参数,则将日志字段的值转化为JSON列表,并使用JMES提取值作为下一步的值。如果没有配置jmes参数,则将字段的值直接作为下一步的值。 如果上一步的值是一个列表或JSON列表格式的字符串,则按照此列表分裂并结束处理。否则使用sep、quote或lstrip将
单行-完全正则:适用任意格式的单行日志,使用正则表达式提取字段。填写正则匹配规则后,单击验证按钮,支持校验确保正则表达式的正确性。 多行-完全正则:适用任意格式的多行日志,使用正则表达式提取字段。首行正则表达式支持自动生成和手动输入,填写正则匹配规则后,单击验证按钮,支持校验确保正则表达式的正确性。 组合解
添加的字段列表:<字段名称 : 字段内容> drop_keys Array of strings 删除的字段列表 source_keys Array of strings 字段重命名源字段名称列表 dest_keys Array of strings 字段重命名替换的字段名称列表 expand_depth
登录云日志服务控制台。 在左侧导航栏中选择“日志加工>DSL加工”,单击“新建DSL加工任务” 。 在基本信息页面中,完成如下配置后,然后单击“下一步”。 表1 基本信息参数 参数 说明 任务名称 DSL加工任务的名称。长度范围为1~128个字符,支持字符a-z、A-Z、0-9、_、- 启用状态 默认开启。
默认为lts/%Y/%m/%d,其中%Y代表年,%m代表月,%d代表日,格式需要符合如下规范: “/LogTanks/RegionName”为系统默认路径,不可以修改。 新增%GroupName代表日志组名称,%StreamName代表日志流名称。 名称只能由英文字母、数字及特殊字符“&”“$”“@”“;”“:”“
finish.时,则表示配置文件中所有服务器的卸载操作已完成。 卸载完成后,在云日志服务左侧导航栏中选择“主机管理 > 主机”,查看该服务器的ICAgent状态。 查看ICAgent状态 左侧导航栏选择“主机管理 > 主机”,查看目标主机的ICAgent状态。详细请参见表1。 表1 ICAgent状态