检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DSL加工函数清洗LTS日志数据 您可以通过日志加工函数清洗您所采集的海量日志数据,实现数据格式标准化。本文介绍调用函数清洗数据的常见场景和相关操作。 DSL加工的功能在邀测中,支持华北-北京四、华东-上海一、华南-广州局点,仅针对用户内测使用,后续将全网开放,敬请期待! 场景一:过滤LTS日志
单击“确定”,完成配置。当转储任务状态为“正常”时,表示转储任务创建成功。当选择对其他账号日志进行转储时,被委托人的转储界面,日志组和日志流属于委托人,前端单击日志组名称、日志流名称时,需要通过委托跳转到委托人的日志组、日志流界面。 单击“转储对象”列的DIS通道名称,可以跳转至DIS控制台,查看转储的日志文件。 转储后的日志,支持下载到本地进行查看。
LTS功能。 图1 AOM1.0与LTS关系图 AOM2.0与LTS关系 AOM2.0将日志功能剥离,由LTS负责日志功能,仅AOM2.0界面会内嵌LTS页面,提供日志相关展示。 图2 AOM2.0与LTS关系图 父主题: 产品咨询问题
云审计服务(Cloud Trace Service,简称CTS) 通过OBS服务,您可以将需要长期存储的日志转储至OBS桶中,确保日志不丢失,实现数据持久化。 对象存储服务(Object Storage Service,简称OBS) 通过DIS服务,您可以将需要长期存储的日志转储至D
授权项:自定义策略中支持的Action,在自定义策略中的Action中写入授权项,可以实现授权项对应的权限功能。 依赖的授权项:部分Action存在对其他Action的依赖,需要将依赖的Action同时写入授权项,才能实现对应的权限功能。 IAM项目(Project)/企业项目(Enterprise
详细介绍请参见停止计费。 成本管理 使用云日志服务时,成本主要分为拥有成本和运维成本。您可以从归集成本、优化资源、升级换代、具备节约意识、实现自动化运维等方面优化成本。更多详情,请参见成本管理。 产品定价 如您需要快速了解LTS服务的具体价格,请参见LTS价格详情。
作列的“远程登录”。 在弹出的“登录Linux云服务器”窗口中,选择“其他方式”下的VNC方式,单击“立即登录”。 在新打开的页面中,根据界面提示,输入用户购买弹性云服务器设置的root用户名和密码。 ECS登录成功后,执行ICAgent安装命令进行安装,并根据提示输入已获取到的
单击“确定”,完成配置。当转储任务状态为“正常”时,表示转储任务创建成功。当选择对其他账号日志进行转储时,被委托人的转储界面,日志组和日志流属于委托人,前端单击日志组名称、日志流名称时,需要通过委托跳转到委托人的日志组、日志流界面。 单击“转储对象”列的名称,可跳转到专享版Kafka实例的基本信息页面。 注册Kafka实例
场景1:不带时区信息的日期时间字符串转换成指定时区的日期时间对象。 对于不带时区信息的日期时间字符串2019-06-02 18:41:26,可以通过Unix时间戳,实现不同时区下的日期时间的相互转换。将洛杉矶时区的日期时间转换为上海时区的日期时间。 原始日志:已知time字段的值的时间是洛杉矶时间 {
不能以小数点、下划线开头或以小数点结尾。 长度为1-64个字符。 设置tag字段 设置结构化配置时,可以对日志维度信息进行tag字段设置,设置完成后可以在可视化界面对设置字段进行SQL查询。 在字段提取步骤中,选择“tag字段”页签,单击“添加字段”。 图1 添加tag字段 在tag字段列表中,输入需要设置
不能以小数点、下划线开头或以小数点结尾。 长度为1-64个字符。 设置tag字段 设置结构化配置时,可以对日志维度信息进行tag字段设置,设置完成后可以在可视化界面对设置字段进行SQL查询。 在字段提取步骤中,选择“tag字段”页签,单击“添加字段”。 图1 添加tag字段 在tag字段列表中,输入需要设置
选择对应日志组、日志流下的可视化图表,单击“确定”。若该日志流下没有图表或没有所需的图表,单击界面上的“前往添加图表”,进入可视化界面,设置完成后单击“保存并返回”返回到告警规则界面,自动打开创建规则弹框,填充新创建的图表及图表的查询语句。 可以指定图表的查询时间(1 ~ 60分钟/1
自定义行动规则的描述,字符长度0-1024个字符。 主题 SMN主题,请从下拉列表中选择。 若没有合适的主题,请单击主题选择栏下方“创建主题”,在SMN界面创建。 消息模板 通知消息的模板,请从下拉列表中选择。 若没有合适的消息模板,请单击消息模板选择栏右侧“创建消息模板”,新建消息模板,操作详见创建消息模板。
图2 string类型展示的图形 图3 long和float数值类型展示的图形 单击字段分布值统计或智能聚合时间折线图,会自动跳转到可视化界面并生成对应的SQL查询语句进行查询,更加直观地展示字段值的分布和变化趋势。更多信息请参见可视化。 二次分析 快速分析功能支持对float类
用函数。 智能转换函数 以dt_parse函数为代表的智能转换函数可以接收Unix时间戳、日期时间对象以及日期时间字符串等不同类型的参数,实现智能转换。 专用函数 智能转换函数无法满足用户的全部需求。如对于用户自定义的特殊日期格式,dt_parse等智能转换函数无法自动解析日志,
支持使用表格、柱状图、折线图等图表类型展示不同场景数据,详细请参考表1。 表1 图表类型 图表类型 使用场景 表格 表格是最常见的数据展示类型,通过对数据结构化的整理,实现数据的对比与统计。大多数场景均适用。 柱状图 柱状图描述的是分类数据,直观表现每一个分类项的大小对比关系。统计近一天各错误码类型出现的次数等分类统计场景适用。
loat数值类型的字段只支持展示智能聚合时间折线图。单击图表即可进入详情页面。 单击字段分布值统计或智能聚合时间折线图,会自动跳转到可视化界面并生成对应的SQL查询语句进行查询,更加直观地展示字段值的分布和变化趋势。更多信息请参见可视化。 二次分析 快速分析功能支持对float类
eicloud-lts-sdk-go 编写上报日志代码,示例如下: 可以自定义发送成功与失败时的回调方法,实现方式请参考如下命令:自定义ErrorHandler的结构体,实现Success和Fail方法,并且在发送日志时直接使用。 SendLogWithCallBack(groupId
的区别请参考表2。 短语搜索:在关键词搜索语法的基础上实现,短语搜索能够区分关键词的顺序,用于精准匹配目标短语,搜索结果更加精确。短语搜索适用于英文短语、中文短语的搜索,不支持模糊搜索。 关键词搜索:关键词搜索是基于分词实现,通过分词符先将搜索内容拆分为多个关键词,然后匹配日志。
从Elasticsearch(简称ES)迁移到LTS中。 当前华为云支持ECS机器通过安装ICAgent来采集日志文件,因此可以基于该功能实现Elasticsearch日志导入云日志服务。 Elasticsearch数据先通过python脚本将数据落盘到ECS,然后通过LTS服务