检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
志组中创建日志流。 前提条件 已创建日志组。 创建日志流 登录云日志服务控制台。 单击日志组名称对应的。 单击“创建日志流”,在创建日志流页面,参考表1填写日志流相关信息。 表1 日志流参数说明 参数 说明 日志组名称 默认显示目标日志组名称。 日志流名称 日志流名称只支持输入英
project_id 是 String 项目ID,获取方式请参见:获取项目ID,获取账号ID,日志组ID、日志流ID 最小长度:32 最大长度:32 domain_id 是 String 账号ID,获取方式请参见:获取项目ID,获取账号ID,日志组ID、日志流ID 最小长度:32 最大长度:32
project_id 是 String 项目ID,获取方式请参见:获取项目ID,获取账号ID,日志组ID、日志流ID 最小长度:32 最大长度:32 domain_id 是 String 账号ID,获取方式请参见:获取项目ID,获取账号ID,日志组ID、日志流ID 最小长度:32 最大长度:32
了解更多常见问题、案例和解决方案 热门案例 使用agent过程中,CPU占用较高怎么处理? 实时查看最新日志,每一次加载数据时延是多久? 日志转储页面,转储状态异常是什么原因? 日志服务可以采集哪类日志? 如何转储云审计服务CTS的日志? 更多 智能客服 您好!我是有问必答知识渊博的的智能问答机器人,有问题欢迎随时求助哦!
日志内容分词,此时最大长度限制为500KB。 云端结构化解析 登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面,单击右上角,在弹出页面中,选择“云端结构化解析”,进行日志结构化配置。 开启“保留原始日志”后,原始日志将作为content
日志内容分词,此时最大长度限制为500KB。 云端结构化解析 登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面,单击右上角,在弹出页面中,选择“云端结构化解析”,进行日志结构化配置。 开启“保留原始日志”后,原始日志将作为content
项目ID,获取方式请参见:获取项目ID,获取账号ID,日志组ID、日志流ID 最小长度:32 最大长度:32 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 从IAM服务获取的用户Token,获取方式请参见:获取用户Token
项目ID,获取方式请参见:获取项目ID,获取账号ID,日志组ID、日志流ID 最小长度:32 最大长度:32 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 从IAM服务获取的用户Token,获取方式请参见:获取用户Token
项目ID,获取方式请参见:获取项目ID,获取账号ID,日志组ID、日志流ID 最小长度:32 最大长度:32 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 从IAM服务获取的用户Token,获取方式请参见:获取用户Token
项目ID,获取方式请参见:获取项目ID,获取账号ID,日志组ID、日志流ID 最小长度:1 最大长度:64 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 从IAM服务获取的用户Token,获取方式请参见:获取用户Token
项目ID,获取方式请参见:获取项目ID,获取账号ID,日志组ID、日志流ID 最小长度:32 最大长度:32 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 从IAM服务获取的用户Token,获取方式请参见:获取用户Token
项目ID,获取方式请参见:获取项目ID,获取账号ID,日志组ID、日志流ID 最小长度:32 最大长度:32 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 从IAM服务获取的用户Token,获取方式请参见:获取用户Token
的参数介绍请参考使用KAFKA协议上报日志。 在https://github.com/keedio/flume-ng-sql-source页面下载flume-ng-sql-source插件,转换为jar包并取名为flume-ng-sql-source.jar,打包前注意将pom文件中的flume-ng-core
的参数介绍请参考使用KAFKA协议上报日志。 在https://github.com/keedio/flume-ng-sql-source页面下载flume-ng-sql-source插件,转换为jar包并取名为flume-ng-sql-source.jar,打包前注意将pom文件中的flume-ng-core
ELSE sip END) != '*' ORDER BY mb_in DESC LIMIT 10 访问域名图表所关联的查询分析语句如下所示: SELECT http_host, count( 1 ) AS "被访问次数"
ELSE sip END) != '*' ORDER BY mb_in DESC LIMIT 10 访问域名图表所关联的查询分析语句如下所示: * | SELECT http_host, count( 1 ) AS "被访问次数"
后的数据。 功能特性 云日志服务提供数据加工功能,用于数据的规整、富化、脱敏和过滤。 数据规整:针对混乱格式的日志进行字段提取、格式转换,获取结构化数据以支持后续的流处理、数据仓库计算。 数据富化:对日志(例如订单日志)和维表(例如用户信息表)进行字段连接(JOIN),为日志添加更多维度的信息,用于数据分析。
已创建消费组,详细操作请参考创建消费组。 已创建通用队列,详细操作请参考创建队列。 已创建Flink作业,详细操作请参考创建Flink作业。 已从maven仓库获取lts-flink-connector-1.0.3.1.jar包, 创建Flink Jar作业时需要上传lts-flink-connector-1
"action":"ACCEPT", "end":"1548752736" } 单击“确定”保存加工任务,创建成功后在DSL加工页面生成一条任务明细。 父主题: 数据富化
e_dict_map(json_parse(v("http_code_map")), "status", "message") 此处从源日志的http_code_map字段中获取映射关系。 表格构建 不同表格构建方式对比参考如下: 表2 不同表格构建方式对比 构建方式 优点 缺点 从文本构建 直观、简单、方便。 如