检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
比较运算符用于比较两个值,并返回真(true)或假(false)。比较运算符可以对数值类型进行大小比较,对STRING类型进行包含比较,比如数值类型的字段num1 < num2是否为真,STRING类型的str1是否存在于字符串strs中等,具体请参见表1。 语法格式 SELECT fieldname1
日志数据可分为结构化数据和非结构化数据。结构化数据指能够用数字或统一的数据模型加以描述的数据,具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据,数据结构不规则或不完整,没有预定义的数据模型。 日志结构化是以日志流为单位,通过不同的日志提取方式将日志流中的日志
} } 在返回结果中获取响应头中X-Subject-Token字段。 图2 返回结果 根据1获取的用户X-Subject-Token获取临时访问密钥。 在请求header添加X-Auth-Token字段,value为1中获取到的X-Subject-Token。 图3 获取临时访问密钥
被手动停止。 特定时间范围:指定数据加工任务的起止时间,加工任务执行到指定时间后自动停止。 高级配置 对于加工语句中需要使用的密码信息(例如数据库连接密码),日志服务支持使用键值对形式保存在密钥对中。 单击“添加密钥”,填写key值、Value值。 在编辑加工语句页面中,参考规则
1]。 字段样例 x:0.5 查询和分析语句 select ACOS(x) 查询和分析结果 表2 查询和分析结果 x EXPR$1 0.5 1.0471975511965979 ATAN(expr)函数 ATAN求参数值的反正切,y= arctanx,x的取值范围R。 字段样例 x:0
表示String类型字段。 表示float类型字段。 表示long类型字段。 快速分析的字段长度最大为2000字节。 快速分析字段展示前100条数据。 单击即可查看一键生成的图表展示,string类型的字段支持展示字段分布值统计和智能聚合时间折线图,long和float数值类型的字段只支持展
日志数据可分为结构化数据和非结构化数据。结构化数据指能够用数字或统一的数据模型加以描述的数据,具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据,数据结构不规则或不完整,没有预定义的数据模型。 日志结构化是以日志流为单位,通过不同的日志提取方式将日志流中的日志
模板或者自定义模板提取字段。 结构化后的日志数据可理解为数据库中的二维表,结构化配置完成后就可以使用SQL语句对提取的字段进行查询与分析。 开启“自动配置索引和快速分析”开关,将使用结构化字段配置字段索引,同时会打开快速分析按钮。开启该按钮后,默认将内置字段hostIP、host
模板或者自定义模板提取字段。 结构化后的日志数据可理解为数据库中的二维表,结构化配置完成后就可以使用SQL语句对提取的字段进行查询与分析。 开启“自动配置索引和快速分析”开关,将使用结构化字段配置字段索引,同时会打开快速分析按钮。开启该按钮后,默认将内置字段hostIP、host
完成后,单击Save & Test。 添加仪表盘 在左侧菜单栏中,单击 选择Dashboards,在New dashboard页面中,单击add an empty panel。 在New dashboards页面中,选择hws-lts-grafana-datasource-plugin插件和填写对应的sql语句。
"b045-4e77-bda4-914d083d1bf7"] split_part函数 通过指定的分隔符拆分字符串,并返回指定索引的内容字段样例,索引下标从0开始。若索引下标超过分割数量或者为负数,则返回空字符串。 字段样例 Id: dc1dab7e-b045-4e77-bda4-914d083d1bf7 查询和分析语句
Kafka访问用户名,配置为用户账号的项目ID。 password Kafka访问密码,格式为${accessKey}#${accessSecret},即用户账号的AK和SK通过#连接,作为Kafka的访问密码。 headers 设置自定义label字段时,需要配置headers。 headers中添加he
数据规整:针对混乱格式的日志进行字段提取、格式转换,获取结构化数据以支持后续的流处理、数据仓库计算。 数据富化:对日志(例如订单日志)和维表(例如用户信息表)进行字段连接(JOIN),为日志添加更多维度的信息,用于数据分析。 数据脱敏:对数据中包含的密码、手机号、地址等敏感信息进行脱敏。
SQL页面,填写SQL语句“MSCK REPAIR TABLE table_name”,table_name为有分区表的表名称,数据库名称和队列名称选择用户配置转储DLI创建的数据库和队列。 更多DLI SQL属性信息请参考开发SQL脚本。 设置完成DLI SQL属性后,单击空白处,单击“调度配
切换自定义日志时间开关。 表1 参数配置表 参数 说明 示例 字段key 已提取字段的名称。单击下拉框选择已提取的字段,该字段为string或long类型。 test 字段value 已提取的字段value,选择字段key后,将自动填充。 2022-07-19 12:12:00 时间格式
切换自定义日志时间开关。 表1 参数配置表 参数 说明 示例 字段key 已提取字段的名称。单击下拉框选择已提取的字段,该字段为string或long类型。 test 字段value 已提取的字段value,选择字段key后,将自动填充。 2022-07-19 12:12:00 时间格式
功能描述 基础类型转换 ct_int 将字段或表达式的值转换为整数。 ct_float 将字段或表达式的值转换为浮点数。 ct_str 将字段或表达式的值转换为字符串。 ct_bool 将字段或表达式值转换为布尔值。 数字转换 ct_chr 将字段或表达式的ANSI值、Unicode值转换为对应字符。
String 当字段type为"CRON"时取该字段。 最小长度:1 最大长度:1024 hour_of_day Integer 当字段type为"DAILY"或者"WEEKLY"时取该字段。 day_of_week Integer 当字段type为"WEEKLY"时取该字段(周日~周六)。
基础转储流量:开启日志转储计费功能后,才会显示基础转储流量。日志转储不需要字段映射,转储算力消耗少,例如转储OBS/DMS/DIS。 高级转储流量:开启日志转储计费功能后,才会显示高级转储流量。日志转储需要字段映射,转储算力消耗较多,例如转储DWS/DLI。 在资源详情下方,查看T
语法为* | select *,非管道符版本的SQL查询默认语法为select * 动态列表来源:支持字段模糊匹配和SQL查询。 字段模糊匹配:选择当前日志流中配置的结构化字段。 SQL查询:输入SQL查询语句。单击“查询”,可预览动态列表项。 设置完成后,单击“确定”即可完成过滤器的添加。