检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果您没有开通企业管理服务,将无法看到企业项目选项。开通方法请参见如何开通企业项目。 表2 一键测算参数说明 参数 说明 区域 云日志服务所在的区域,建议选择与业务应用系统相同的地域。 计算方式 一键测算:按照每天新增日志量(GB/天或TB/天)、日志存储时长(天)、标准存储层数据保存时间(天)
过滤连接ID图,所关联的查询分析语句如下所示: SELECT DISTINCT(resource_id) 流量方向图展示为静态过滤器,可按照入方向和出方向的流量进行过滤,所关联的查询分析语句如下所示: 过滤源IP图,所关联的查询分析语句如下所示: SELECT DISTINCT(srcaddr) 过滤
数据接入服务 DIS 数据接入服务(Data Ingestion Service,简称DIS)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击
日志的网段。因此需要配置网络打通方案,使用跳板机或VPCEP的方式去连通LTS后端将数据转发到LTS。 跳板机:跳板机作为数据转发器,将区域外主机ICAgent采集到的数据转发给LTS。当您在进行测试,或者日志流量并不大的情况下,可以使用跳板机的方案。对于大流量日志场景推荐您使用VPCEP。
开启智能冷存储需要日志存储时间大于7天。 标准存储层数据保存时间 开启智能冷存储后,需要设置标准存储层数据的保存时间。 标准存储数据至少需保存7天才能转换为智能冷存储层数据。当日志保存时间大于标准存储层数据保存时间,且小于日志存储时间时,日志数据将自动转换为智能冷存储层数据存储。 标签 按照业务需求对不
展开时添加为字段名的后缀。 fmt String 否 格式化方式。取值: simple(默认值):表示将节点名作为字段名。展示形式为{prefix}{current}{suffix}。 full:表示将父节点与当前节点合并作为字段名。展示形式为{parent_list_str}{sep}{prefix
database failed, code=%@. 打开数据库失败。 请根据sqlite3 error code查询具体情况。 LTS.0104 Create database table failed, code=%@, error=%@. 创建数据表失败。 请根据sqlite3 error
采集器隐私声明 由于LTS会将运维数据内容展示到LTS控制台,请您在使用过程中,注意您的隐私及敏感信息数据保护,不建议将隐私或敏感数据上传到LTS,必要时请加密保护。 采集器部署 在ECS上手动部署ICAgent过程中,安装命令会使用到您的AK/SK作为输入参数,安装前请您关闭系
分析”提取方式,根据业务需求选择日志,将日志正文拆分成四个部分:Time1/ThreadName/Level/Message。 在日志流详情页面,单击“日志分析”页签,进行SQL查询与分析,如需要多样化呈现查询结果,请参考日志结构化概述进行配置。 统计最近7天内错误类型的分布,具体SQL查询分析语句如下所示:
单击目标日志流名称,进入日志详情页面。 选择实时日志页面后不需要单击任何按钮。然后尝试触发上报日志,观察实时日志页面是否自动刷新出数据,若有日志,则代表上报成功。若长时间无数据,请按如下步骤排查ICAgent。 检查ICAgent状态。 在云日志服务控制台的左侧导航栏选择“主机管理 > 主机”
云日志服务可以帮助您快捷地完成数据采集、消费、投递以及查询分析,提升运维和运营效率,建立海量日志处理能力。 LTS-Flink-Connector工具支持以下表1。 表1 功能说明 功能 说明 支持类型 源表和结果表 运行模式 仅支持流模式 API种类 SQL 是否支持更新或删除结果表数据 不支持更新和删除结果表数据,只支持插入数据。
SQL归约函数 功能描述 归约函数对零个或多个表达式进行操作,并返回单个表达式。如果没有表达式作为参数传递,则结果为 NULL。表达式必须全部转换为公共数据类型,即结果的类型有: 如果所有的参数都是 NULL,结果是 NULL,否则,NULL 参数被忽略。 如果所有的参数包含了数
当新值非空,且目标字段不存在时,设置目标字段。 overwrite 总是设置目标字段。 overwrite-auto 当新值非空,设置目标字段。 父主题: DSL数据加工语法(邀测)
如何在VPCEP控制台创建终端节点? 终端节点用于在VPC和终端节点服务之间建立便捷、安全、私密的连接通道。当前支持通过创建终端节点和AOM/LTS服务打通网络,然后进行心跳、指标数据以及日志上报。 如果要通过终端节点的方式打通AOM/LTS的网络,需要为AOM和LTS各自购买1个终端节点。 创建AOM/LTS终端节点的方法:
实时日志告警:自定义告警内容,短信/邮件/企业微信/钉钉/HTTP多渠道通知。 一站式日志加工:200+函数、一站式日志规整、富化、脱敏、过滤、分裂加工平台。 日志数据服务间集成:日志转储OBS/DWS/DIS/DLI/DMS,助力用户快速构建水平解决方案。 图1 云日志服务示意图
通过配置分词可将日志内容按照分词符切分为多个单词,在日志搜索时可使用切分后的单词进行搜索。初次使用时,LTS已默认进行了分词配置,默认配置的分词符为: , '";=()[]{}@&<>/:\\?\n\t\r 若默认分词符不能满足您的需求时,可按照如下操作进行自定义配置。 注意事项 分词配置只会对配置时间点以后
构建python读写脚本,用来将ES数据写入磁盘,输出文件路径需与配置日志接入规则一致。 脚本需执行在ecs机器,命名xxx.py格式,写入磁盘数据脚本请参考如下示例: 以下斜体字段需按照实际情况进行修改。 index:字段为索引名,参考示例为: test; pathFile :为数据写入磁盘绝对路径,参考示例为:
过海量日志数据的分析与处理,可以将云服务和应用程序的可用性和性能最大化,为您提供实时、高效、安全的日志处理能力,帮助您快速高效地进行实时决策分析、设备运维管理、用户业务趋势分析等。 实时采集日志:采集到的日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行查询。 日
主机组是为了便于分类管理、提升配置多个主机日志采集的效率,对主机进行虚拟分组的单位。云日志服务支持通过一个接入配置来采集多台主机上的日志,您可以将这些主机加入到同一个主机组,并将该主机组关联至对应的接入配置中,配置日志接入时以主机组为单位下发采集配置,方便您对多台主机日志进行采集。请参考图1。 当用户扩容主机
云日志服务提供实时日志采集功能,采集到的日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行查询,并且可以长期存储。 采集到日志数据按照结构化和非结构化进行分析。结构化日志是通过规则将日志流中的日志进行处理,提取出来有固定格式或者相似度高的日志内容做结构化的分类。这样就可以采用SQL的语法进行日志的查询。