检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
消费组创建完成后,您可以使用集成云日志服务Java SDK通过消费组消费数据。 目前此功能在邀测中,暂不支持申请开通。 前提条件 使用云日志SDK前,您需要注册华为云账号,并开通云日志服务。 确认云日志服务的区域,请用户根据所在区域,获取regionName。 获取华为账号的AK/SK。 获取华为云账号的项目ID(project
消费开始时间,纳秒值 Long 必填 - stopTime 消费结束时间,纳秒值 Long 选填 - jsonParse 是否对原始日志做json解析 Boolean 选填 false 类型映射 表3 类型映射 Flink字段类型 LTS字段类型 VARCHAR STRING 代码示例
strings 主机名称列表。可以根据主机名称列表,进行批量过滤 最小长度:1 最大长度:128 host_ip_list 否 Array of strings 主机IP列表。可以根据主机IP列表,进行批量过滤。 最小长度:1 最大长度:16 host_status 否 String 主机状态。可以根据主机状态进行过滤。
false }, { "field_name" : "eip_address", "is_analysis" : false }, { "field_name" : "eip_port", "is_analysis" : false }
标日志组和日志流名称,进入日志详情页面。 系统获取ELB原始日志,在日志搜索页面查看具体日志。 单击右上角,在弹出页面中,选择“云端结构化解析”。 选择结构化模板,根据ELB模板进行结构化配置。其他日志内容可选择其他结构化模板。 在“可视化”页签下输入SQL查询语句对相应的字段进行查询,即可返回所需的日志内容。
产生速度<50MB/s。 当采集器被重启后,重启时间点附近可能会产生一定的数据重复。 不涉及。 表4 ICAgent支持访问的IP地址 组件/服务 IP地址 说明 openstack http://169.254.169.254/openstack/latest/meta_data
desc TOP 访问IP图表所关联的查询分析语句如下所示: select remote_addr as "来源IP",ip_to_country(remote_addr) as "国家",ip_to_province(remote_addr) as "省份",ip_to_city(remote_addr)
SDK依赖的最新版本。 在Maven工程中使用云日志服务log4j2 SDK,只需在pom.xml中加入相应依赖即可,Maven项目管理工具会自动下载相关JAR包。以1.0.1版本为例,在<dependencies>中加入如下内容: <dependency> <groupId>io
N格式。 转储标签:开启后,会将日志流标签添加至转储内容。 开启 压缩格式 支持不压缩、压缩gzip、压缩zip、压缩snappy。 压缩格式支持白名单用户申请提交工单开通。 gzip 单击“确定”,完成配置。当转储任务状态为“正常”时,表示转储任务创建成功。 单击“转储对象”列
false }, { "field_name" : "eip_address", "is_analysis" : false }, { "field_name" : "eip_port", "is_analysis" : false }
主要展示加工任务ID、加工任务名称、输入行数、输出行数等信息。 前提条件 已创建DSL加工任务。 日志配置结构化,详情请参见设置云端结构化解析日志。 DSL加工任务监控中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘”。 在仪表盘模板下方,选择“DSL仪表盘模板 > DSL加工任务监控中心”,查看图表详情。
ject内为键值对,键为demo_fields数组中元素的field_name,值为user_defined_name,layers为最大解析层数,当前最大值为4,整体例子为 {\"keyObject\":{\"metadata.dimension\":\"dimension\"
SDK依赖的最新版本。 在Maven工程中使用云日志服务LogBack SDK,只需在pom.xml中加入相应依赖即可,Maven项目管理工具会自动下载相关JAR包。以1.0.1版本为例,在<dependencies>中加入如下内容: <dependency> <groupId>io
cpu,host_ip from log) host ON "access".host_ip = "host".host_ip 返回结果,总共60条数据。 INNER JOIN 查询语句 SELECT "access".__time, "host".host_ip, "access"
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
配置转储到OBS,供DLI快速从OBS读取日志;LTS支持直接将结构化日志转储到DWS。 LTS提供解决方案参考如下图3,可以对日志结构化解析,基于SQL语法分析日志,生成可视化图表,并结合大数据平台帮助企业进一步挖掘数据价值,助力企业数字化转型。 图3 运营分析解决方案
SDK依赖的最新版本,仅支持1.0.3及以上版本。 在Maven工程中使用日志服务Java SDK,只需在pom.xml中加入相应依赖即可,Maven项目管理工具会自动下载相关JAR包。 <dependency> <groupId>io.github.huaweicloud</groupId>
not null group by \"time\",ip order by \"time\" ICAgent整体状态图表所关联的查询分析语句如下所示: select host_name as "主机名",ip as "IP" , version as "版本号" , os as
志流的能力,支持Exactly Once语义,在使用时,用户无需关心日志流中shard数量的变化,FlinkLtsLogConsumer会自动感知。 Flink中每一个subtask启动一个LTS SDK的consumer worker负责消费日志流中部分shard,如果日志流中
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted