检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云日志服务LTS对比自建ELK Stack有什么优势? 本章节主要介绍华为云日志服务(LTS)对比自建ELK,帮助您更好的了解LTS的主要功能和优势。 背景信息 提到日志搜索,很多人都会想到基于ELK Stack(Elasticsearch/Logstash/Kibana)来搭建
String 必填 - 华为云账号的项目ID。 accessKey String 必填 - 华为云账号的访问密钥,简称AK。 认证用的华为云账号AK、SK硬编码到代码中或者明文存储都有很大的安全风险,建议密文存放,使用时解密,确保安全。 说明: 认证用的华为云账号AK、SK硬编码到
创建消费组 您可以在华为云LTS控制台为日志流创建消费组,使用集成云日志服务Java SDK通过消费组消费数据。您无需关注SDK的实现细节以及消费者之间的负载均衡等,只需要关注业务逻辑。 云日志服务通过消费组消费数据,使用消费组功能之前,您需要了解以下基本概念。 目前此功能在邀测中,暂不支持申请开通。
下操作: 根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用LTS资源。 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将LTS资源委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。
1-64个字符。 设置tag字段 设置结构化配置时,可以对日志维度信息进行tag字段设置,设置完成后可以在可视化界面对设置字段进行SQL查询。 在字段提取步骤中,选择“tag字段”页签,单击“添加字段”。 图1 添加tag字段 在tag字段列表中,输入需要设置 tag“字段名称”,例如hostIP。
1-64个字符。 设置tag字段 设置结构化配置时,可以对日志维度信息进行tag字段设置,设置完成后可以在可视化界面对设置字段进行SQL查询。 在字段提取步骤中,选择“tag字段”页签,单击“添加字段”。 图1 添加tag字段 在tag字段列表中,输入需要设置 tag“字段名称”,例如hostIP。
在“选择服务”下方查找并选择AOM的云服务,并且勾选“创建内网域名”,选择终端节点所在的虚拟私有云和子网,其他参数默认设置。更多操作请参考购买终端节点。 设置完成后,单击“立即购买”。购买成功后,即可完成AOM终端节点的创建。 重复上面步骤,需要再购买1个终端节点,选择终端节点
无效字段填充 转储格式选择ORC时支持设置无效字段填充。 若日志中没有值与上方配置的键值对应,则会用无效字段填充。 - 转储周期 日志自动转储至OBS桶的时间间隔,支持2分钟、5分钟、30分钟、1小时、3小时、6小时、12小时。 3小时 文件名时区 日志自动转储至OBS桶时,按照UTC时间生成转储目录及文件名称。
访问控制 对企业中的员工设置不同的LTS访问权限,以达到不同员工之间的权限隔离,使用统一身份认证服务(Identity and Access Management,简称IAM)进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全的控制华为云资源的访问。详细如下:LTS权限管理。
过创建委托将资源管理权限委托给其他华为云账号。 委托人账号名称 创建委托时的账号名称,用来验证委托关系。 日志流映射。 在日志流映射页面,配置接入规则,有两种方式:自动配置和手动配置。 自动配置 在日志流映射页面,单击“自动配置”。 在弹出的自动配置页面中,配置相关参数信息,完成后,单击“确定”。
设置云端结构化自定义日志时间 当日志接入云日志服务LTS时,您可以通过开启“自定义日志时间”开关,将日志中的时间字段设置为接入配置的时间。 开启自定义日志时间 登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面,单击右上角,在弹出页面中,
当默认设置不能满足您的需求时,您可以自定义设置分词符。所有的ASCII码包括中文都可被定义为分词符。 如果设置分词符为空,则字段值将被当成一个整体,您只能通过完整字符串或模糊查询查找对应的日志。 例如示例日志message字段内容为:I Know 今天是星期一。 如果不设置任何分词符,整条日志被作为一个词I
托授权,ICAgent可以自动获取AK/SK(访问密钥),生成ICAgent的安装命令。 创建委托 登录统一身份认证服务控制台。 在左侧导航栏单击“委托”,进入委托页面。 单击右上角“创建委托”,具体操作请参考委托其他云服务管理资源,创建委托时参数设置要求参考如下。 委托类型:选择“云服务”。
当默认设置不能满足您的需求时,您可以自定义设置分词符。所有的ASCII码包括中文都可被定义为分词符。 如果设置分词符为空,则字段值将被当成一个整体,您只能通过完整字符串或模糊查询查找对应的日志。 例如示例日志message字段内容为:I Know 今天是星期一。 如果不设置任何分词符,整条日志被作为一个词I
当转储格式选择JSON时,需要设置该参数。 是否开启日志流标签字段。开启后,转储类型支持转储所有字段或自定义转储字段。 选择转储所有字段后将转储日志下所有的日志流标签字段,选择自定义转储字段后将手动配置日志流标签字段。如何设置标签请参考管理日志流。 - 更多配置 当转储格式选择JSON时,需要设置该参数。
基于VPN打通网络实现API或SDK跨云上报日志到LTS 方案概述 云上用户经常会遇到多云采集日志场景,需要将自建IDC、第三方云厂商、华为云其他region的日志采集到华为云LTS。支持基于VPN快速打通网络,实现API或SDK跨云上报日志。 本方案依赖云上VPN服务,可通过在数据中心建立主备两条VPN连接,提高网络连通的可靠性。
设置云端结构化自定义日志时间 当日志接入云日志服务LTS时,您可以通过开启“自定义日志时间”开关,将日志中的时间字段设置为接入配置的时间。 开启自定义日志时间 登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面,单击右上角,在弹出页面中,
设置云端结构化模板 云日志服务(LTS)目前支持的结构化模板有两种,分别为系统模板和自定义模板。 系统模板 支持多种系统模板,不支持修改系统模板的字段类型和删除字段,详情请参考表1。 在云端结构化解析页面中,日志结构化方式选择“结构化模板”。 在“选择模板”下,选择“系统模板”,
采集第三方云厂商、互联网数据中心、华为云其他Region云主机日志到LTS 本实践主要介绍将阿里云主机日志采集到华为云LTS的操作步骤,互联网数据中心和华为云上跨Region采集日志的操作方式与采集阿里云主机日志的方式类似。 日志接入 采集第三方云厂商、互联网数据中心、华为云其他Region的Kubernetes日志到LTS
入门实践 当您完成了日志组、日志流等基本操作后,可以根据自身的业务需求使用云日志服务提供的一系列常用实践。 表1 常用最佳实践 实践 描述 对华为云ELB日志进行分析 该解决方案介绍将ELB日志接入LTS后,配置日志结构化后,即可进行日志搜索分析。 通过仪表盘可视化分析ELB日志 该