检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
例等。 函数列表 类型 函数 说明 字段映射 e_dict_map 与目标数据字典进行映射,根据输入的字段映射一个新字段。支持和其他函数组合使用。 e_table_map 与目标表格进行映射,根据输入的字段名称返回字段值。支持和其他函数组合使用。 搜索映射 e_search_dict_map
时间函数可以与__time一起使用,任何存储为毫秒时间戳的列都可以使用 MILLIS_TO_TIMESTAMP 函数,或者任何存储为字符串时间戳的列都可以使用 TIME_PARSE 函数。默认情况下,时间操作使用UTC时区,您可以通过参数"timezone"设置为另一个时区的名称(如"
登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组或日志流名称,进入日志详情页面。 在“日志搜索”页签,单击,输入“快速查询名称”和“快速查询语句”。默认开启快速查询和快速查询(保存本地)。 图1 创建快速查询 快速查询名称,用于区分多个快速查询语句。名称自定义,需要满足如下要求: 只支持输入英文、数字、中文、中划线、下划线及小数点。
当跨流搜索的日志流的分词配置不同时,会导致跨流日志关键词高亮不一致。 最多可同时搜索50个日志流。 仅支持搜索原始日志,暂不支持使用SQL进行统计分析。 支持跨日志组选择日志流,但不支持跨区域选择日志流。 跨流搜索选择多个索引配置不一致的日志流,例如A日志流配置了字段索引Key1,B日志
日志组ID:登录云日志服务页面,选择“日志管理”,鼠标悬浮在日志组名称上,可查看日志组名称和日志组ID。 日志流ID:单击日志组名称对应的按钮,鼠标悬浮在日志流名称上,可查看日志流名称和日志流ID。 父主题: 日志消费与加工
打开匿名写入权限,不会经过有效鉴权,可能产生脏数据。 图1 创建日志流 表1 日志流参数说明 参数 说明 日志组名称 默认显示目标日志组名称。 日志流名称 日志流名称只支持输入英文、数字、中文、中划线、下划线及小数点,且不能以小数点、下划线开头或以小数点结尾。长度为1-64个字符。
日志格式错误或者日志中的projectId(项目ID)、logGroupId(日志组ID)、logStreamId(日志流ID)与外部设置参数不一致。 参数获取方式 表5 区域表 区域名称 RegionName 华北-北京四 lts-kafka.cn-north-4.myhuaweicloud.com
根据条件判断是否丢弃日志。 函数格式 e_drop(condition=true) 支持固定标识DROP,等价于e_drop()。 参数说明 参数名称 参数类型 是否必填 说明 condition Bool 否 默认为true,一般传递一个条件判断函数的结果。 返回结果 满足条件则丢弃日志并返回None,否则返回原日志。
123 e_not_has 判断字段是否不存在。 函数格式 e_not_has("key") 参数说明 参数名称 参数类型 是否必填 说明 key String 是 字段名称。 返回结果 字段不存在返回true,存在返回false。 函数示例 判断日志是否存在content字段,不存在则保留该日志,否则丢弃该日志。
str_count 统计字符串里某个字符出现的次数。 函数格式 str_count(value, sub, start, end) 参数说明 参数名称 参数类型 是否必填 说明 value 任意(自动转为String) 是 被统计的原字符串。 sub 任意(自动转为String) 是 需要统计个数的字符。
s开源软件中的数据。 支持通过HTTP、HTTPS、Syslog、Kafka等标准协议接入数据。 背景信息 “我要点外卖”是一个平台型电商网站,涉及用户、餐厅、配送员等。用户可以在网页、App、微信、支付宝等进行下单点菜。商家拿到订单后开始加工,并自动通知周围的快递员。快递员将外卖送到用户手中。
获取日志组和日志流ID 日志组ID:登录云日志服务页面,选择“日志管理”,鼠标悬浮在日志组名称上,可查看日志组名称和日志组ID。 日志流ID:单击日志组名称对应的按钮,鼠标悬浮在日志流名称上,可查看日志流名称和日志流ID。 父主题: 使用消费组管理消费数据(邀测)
本章以将指定的一个或多个日志流的日志转储到OBS服务为例。 涉及其它云服务接口 创建OBS转储时,需要查询用户的桶列表: 获取桶列表:确定将要配置转储的桶名称。 创建OBS转储 接口相关信息 URI格式:POST /v2/{project_id}/log-dump/obs 请求示例 POST h
accuracy) 表5 参数说明 参数名称 描述 类型 是否必选 x 原始字段 double 是 percentage 百分比值,取值范围为[0,1]。 double 是 weight 权重,大于1的整数。 设置权重后,系统根据x与权重的乘积进行排序。 int 否 accuracy
ap-southeast-3 日志组ID:在云日志服务控制台,选择“日志管理”,鼠标悬浮在日志组名称上,可查看日志组名称和日志组ID。 日志流ID:单击日志组名称对应的按钮,鼠标悬浮在日志流名称上,可查看日志流名称和日志流ID。 父主题: 使用SDK接入LTS
第三方公司名称:华为云计算技术有限公司 收集个人信息类型:设备型号、设备名称、操作系统名称、操作系统版本、APP版本、APP名称、Wi-Fi状态。 使用目的:便于用户将APP日志上报到华为云日志服务。 隐私政策链接:隐私与敏感信息保护声明 以表格方式向用户告知 第三方SDK名称 第三方公司名称
不会影响转储后的日志。 在云日志服务LTS控制台,日志转储是把日志“另存”一份保存至OBS服务,转储成功后,单击“转储对象”列的OBS桶名称,可以跳转至OBS控制台,查看转储的日志文件。 选择转储到DIS服务、DMS服务、DWS服务、DLI服务也是一样的操作。 父主题: 日志转储
云日志服务支持DSL(Domain Specific Language)仪表盘模板,DSL加工任务监控中心主要展示加工任务ID、加工任务名称、输入行数、输出行数等信息。 前提条件 已创建DSL加工任务。 日志配置结构化,详情请参见设置云端结构化解析日志。 DSL加工任务监控中心
server、slowlog、transport 等)。 server cluster.name Elasticsearch集群的名称。 my-cluster node.name 产生日志的Elasticsearch节点的名称。 node-1 node.id 产生日志的Elasticsearch节点的ID。 abcdefg123
获取列表、元组中的一个元素。 lst_make 构建一个列表。 函数格式 lst_make(value1, value2, ...) 参数说明 参数名称 数据类型 是否必填 说明 value1 String 是 列表的元素。 value2 String 是 列表的元素。 返回结果 返回构建后的列表。