产品咨询问题-华为云

云日志服务 LTS-云日志服务LTS对比自建ELK Stack有什么优势？:成本对比

成本对比场景一：假设客户每天原始日志100GB（日志平均速率1.16MB/s），日志平均存储30天，30天原始日志总量为3000GB，日志存储方式为一主一副本。根据Elasticsearch官方推荐，在一主一副本存储方式下，原始日志+副本数据+索引数据等合计占用的存储空间约为原始日志大小2.2倍，另外由于ES集群存在写不均匀且磁盘不能被耗尽，因此为了存储3000GB原始日志，至少需要准备3000GB*2.2（存储膨胀）*2（50%磁盘冗余） = 13200GB磁盘。搭建ES最小典型配置是3台E CS （16U64G5TB），kafka双副本能支持缓存最近12小时的日志。表1 自建ELK 大类小类月成本（合计：12597元）费用占比搭建ES 3 * ECS（C6 16U64G） 3*1999=5997元 47.6% 云硬盘EVS（高IO 15TB） 0.35*15*1024=5376元 42.7% 搭建KAFKA 3 * ECS（2U4G） 3*208=624元 4.9% 云硬盘EVS（超高IO 3*200GB） 600元 4.7% LTS使用价格计算器，计算出来月成本约为2102元，使用LTS的成本约为自建ELK成本的16.7%，原因是在小日志量场景下，自建ELK起步资源成本很高，相比于按需付费的LTS，有很大劣势。场景二：假设客户每天原始日志1TB（日志平均速率11.6MB/s），日志平均存储7天，7天原始日志总量为7TB，日志存储方式为一主一副本。根据Elasticsearch官方推荐，在一主一副本存储方式下，原始日志+副本数据+索引数据等合计占用的存储空间约为原始日志大小2.2倍，另外由于ES集群存在写不均匀且磁盘不能被耗尽，因此为了存储7TB原始日志，至少需要准备7TB*2.2（存储膨胀）*2（50%磁盘冗余） = 31 TB磁盘。搭建ES最小典型配置是3台ECS（16U64G10TB），kafka双副本能支持缓存最近12小时的日志表2 自建ELK 大类小类月成本（合计：18931元）费用占比搭建ES 3 * ECS（C6 16U64G） 3*1999=5997元 31.7% 云硬盘EVS（高IO 31TB） 0.35*31*1024=11110元 58.7% 搭建KAFKA 3 * ECS（2U4G） 3*208=624元 3.3% 云硬盘EVS（超高IO 3*400GB） 1200元 6.3% LTS使用价格计算器，计算出来月成本约为13408元，使用LTS的成本约为自建ELK成本的71%，原因是LTS的存储收费是按用量付费，自建ELK为了保证集群的正常运行需要留有很多磁盘冗余。场景三：假设客户每天原始日志5TB（日志平均速率58MB/s），日志平均存储30天，30天原始日志总量为150TB，日志存储方式为一主一副本。根据Elasticsearch官方推荐，在一主一副本存储方式下，原始日志+副本数据+索引数据等合计占用的存储空间约为原始日志大小2.2倍，另外由于ES集群存在写不均匀且磁盘不能被耗尽，因此为了存储150TB原始日志，至少需要准备150TB*2.2（存储膨胀）*2（50%磁盘冗余） = 660 TB磁盘。搭建ES最小典型配置是66台ECS（16U64G10TB），kafka双副本能支持缓存最近12小时的日志表3 自建ELK 大类小类月成本（合计：374202元）费用占比搭建ES 66 * ECS（C6 16U64G） 66*1999=131934元 35.3% 云硬盘EVS（高IO 660TB） 0.35*660*1024=236544元 63.2% 搭建KAFKA 3 * ECS（2U4G） 3*208=624元 0.2% 云硬盘EVS（超高IO 3*1700GB） 5100元 1.4% LTS使用价格计算器，计算出来月成本约为107655元，使用LTS的成本约为自建ELK成本的28.8%，原因是LTS的存储收费是按用量付费，自建ELK为了保证集群的正常运行需要留有很多磁盘冗余。

云日志服务 LTS 产品咨询问题

云日志服务 LTS-云日志服务LTS对比自建ELK Stack有什么优势？:功能对比

功能对比云日志服务LTS 在功能特性的完备度、日志搜索分析性能方面对比ELK有明显的优势，详细对比请见如下表格：特性子特性 LTS ELK 描述日志采集云服务日志采集 ☆☆☆☆☆ 无 ELK：不支持采集云服务日志。 LTS：云服务租户面日志统一采集到LTS。虚机和容器日志采集 ☆☆☆☆☆ ☆☆☆☆ ELK：使用logstash或者filebeat等开源采集器采集日志。 LTS：使用ICAgent采集日志，有提供向导页面，上手难度低。多语言SDK日志采集 ☆☆☆ 无 ELK：不支持。 LTS：提供java SDK直接上报日志到LTS 主机组管理（主机动态扩缩容） ☆☆☆☆☆ 无 ELK：不支持。 LTS：提供主机管理、主机组管理能力，主机组支持自定义标识主机组，可以管理动态扩缩容主机组。日志结构化解析 ☆☆☆☆ ☆☆☆☆☆ ELK：基于采集器实现自定义日志结构化解析。 LTS：提供结构化解析能力，可以正则表达式、JSON、分隔符、自定义模板等方式解析日志。日志搜索关键词搜索、模糊搜索、快速分析 ☆☆☆☆☆ ☆☆☆☆☆ ELK和LTS：提供类似的日志关键词搜索能力。实时日志查看 ☆☆☆☆☆ 无 ELK：未提供实时日志查看页面。 LTS：提供实时日志查看页面。百亿日志秒级搜索 ☆☆☆☆☆ ☆☆ ELK：自建ELK受限于机器资源数量，搜索海量日志时耗时较长。 LTS：利用公有云海量的弹性计算资源，百亿日志可以在3秒内返回搜索结果。千亿级日志迭代搜索 ☆☆☆☆☆ 无 ELK：无法直接搜索千亿条日志，会出现响应超时。 LTS：提供迭代搜索能力，用户可以直接搜索千亿条日志。日志管理规模百PB级百TB级 ELK：经常要关注机器扩容，费时费力。 LTS：按需付费，LTS自动管理百PB级日志，不用关心底层资源消耗情况。日志搜索 SQL分析日志 ☆☆☆☆☆ ☆☆ ELK：SQL性能差，语法上不支持嵌套SQL。 LTS：SQL性能强，支持嵌套SQL。日志搜索 SQL函数 ☆☆☆☆☆ ☆☆ ELK：只支持最基础的SQL统计函数。 LTS：在基础SQL函数基础上，提供了大量的扩展函数，例如IP函数、统计函数、环比同比函数、URL函数等，极大扩展了使用场景。日志搜索可视化图表 ☆☆☆☆ ☆☆☆ LTS：提供了表格、折线图、饼图、柱状图等多种可视化图表。日志搜索仪表盘 ☆☆☆☆☆ ☆☆ ELK：没有云服务日志开箱即用仪表盘。 LTS：提供开箱即用的仪表盘，对常见的云服务日志例如ELB/APIG/DDS/DCS/CFW等提供开箱即用的仪表盘。日志告警日志关键词告警和SQL告警 ☆☆☆☆☆ ☆ ELK：没有日志告警功能。 LTS：提供准实时的日志关键词和SQL告警功能。告警通知渠道（邮件、短信、HTTPS等） ☆☆☆☆☆ ☆ ELK：无法将告警方便的以钉钉、微信、短信等方式通知用户。 LTS：对接华为云消息通知服务，能以邮件、短信、微信、钉钉、飞书、HTTP等多种渠道通知客户。日志转储转储到对象存储 ☆☆☆☆☆ 无 ELK：无法直接转储对象存储。 LTS：页面简单配置可以将日志转储到对象存储。日志转储转储到kafka ☆☆☆☆☆ ☆☆ ELK：需要自己部署程序将日志转发到KAFKA。 LTS：页面简单配置可以将日志实时转储到KAFKA。日志转储转储到数据仓库 ☆☆☆☆☆ 无 ELK：无法直接将日志转储到数据仓库。 LTS：页面简单配置可以将日志转储到数据仓库。日志加工定时SQL作业 ☆☆☆☆☆ 无 ELK：没有定时SQL作业能力。 LTS：可以配置定时SQL作业，将原始日志加工统计为想要的少量日志结果。函数加工 ☆☆☆☆☆ 无 ELK：没有日志加工功能。 LTS：提供函数触发器，在函数服务中可以配置自定义脚本将日志灵活加工。

云日志服务 LTS 产品咨询问题

云日志服务 LTS-云日志服务LTS使用建议有哪些？:大数据组件日志采集场景

大数据组件日志采集场景场景描述：有些用户会使用 MRS /Flink/Spark等大数据组件做数据处理，希望采集自定义的日志到LTS，但是不希望采集大数据组件的运行日志（对于业务分析价值小）。使用建议：日志采集方式：推荐用户使用JAVA SDK或者GO SDK上报日志。常见的大数据组件不太方便指定个性化的日志文件路径去只打印自己的业务日志，因此使用SDK上报日志是比较好的选择。日志结构化解析方式：LTS支持iOS SDK、Android SDK、百度小程序SDK、微信小程序SDK等端侧SDK，使用端侧SDK上报的日志不支持云端结构化解析，因此建议您上报已经结构化的JSON格式日志。

云日志服务 LTS 产品咨询问题

云日志服务 LTS-云日志服务LTS使用建议有哪些？:容器应用日志场景

容器应用日志场景场景描述：适用于用户将应用系统部署在K8S集群上，使用LTS统一采集和搜索日志的场景。用户的应用系统一般由多个工作负载组成，每个工作负载至少部署2个实例。使用建议：日志采集方式：建议使用采集器ICAgent采集日志，您可以使用CCE接入配置日志采集路径。不建议使用SDK、API上报日志。使用ICAgent的好处是与应用系统完全解耦，无侵入，无需更改代码，使用SDK/API等方式步骤相对复杂，如果代码编写不当容易对应用系统的稳定性造成影响。采集容器应用日志的方式有：容器标准输出、容器文件、节点文件、K8S事件，建议优先使用容器文件。对比容器标准输出，容器文件的优点是可以持久化挂载到主机上，且输出的内容用户自主控制性更强。对比节点文件，容器文件的优点是采集的日志有命名空间、工作负载、POD等元数据信息，在搜索日志的时候更加便捷。日志组规划：将一个CCE集群的所有日志放在一个日志组中，日志组的别名（支持修改）可以使用CCE集群的名称，日志组的原始名称（不支持修改）建议使用k8s-log-{集群ID}。日志流规划：如果您的日志是没有固定规则的日志，可以将类似组件的日志采集到同一个日志流，例如java组件、php组件、python组件。类似组件的日志采集到一个日志流的好处是日志流的数量不至于太多而难以管理，如果您的组件数量比较少（例如小于20个），您可以将每个组件的日志采集到不同的日志流。如果您的日志是类似NGINX网关这种可以结构化解析的日志，建议您将相同格式的日志采集到同一个日志流。因为统一的日志格式才能方便您后续统一使用SQL分析功能，实现可视化图表分析。权限隔离：云日志服务的日志流支持企业项目隔离，通过为日志流设定不同的企业项目可以实现不同 IAM 用户有不同日志流的访问权限。

云日志服务 LTS 产品咨询问题

云日志服务 LTS-云日志服务LTS使用建议有哪些？:云服务日志分析场景

云服务日志分析场景如何采集云服务日志到LTS：LTS支持多种云服务接入采集到LTS，您需要在对应云服务的页面打开日志开关，即可以将日志采集到指定的日志组/日志流。如何配置到最佳使用状态：很多云服务的日志都是支持结构化的，您可以在结构化配置页面为您的云服务日志配置对应的结构化解析规则，详细操作请参考日志结构化配置。结构化解析之后即可对日志使用SQL进行可视化分析。LTS也为很多常见的云服务日志提供了开箱即用的仪表盘，例如ELB/APIG/DCS等开箱即用仪表盘。

云日志服务 LTS 产品咨询问题

云日志服务 LTS-云日志服务LTS使用建议有哪些？:等保安全合规场景

等保安全合规场景场景描述：国家网络安全法要求上市公司、金融企业需要保存关键系统日志至少180天，用户可以将这些日志采集到LTS后统一存储。使用建议：日志采集方式：DSL加工云主机和容器日志，建议优先使用采集器ICAgent采集，使用ECS向导或者CCE向导。云服务日志例如ELB/VPC日志，您可以在云服务界面打开开关将日志采集到LTS。如果您的某些设备必须要以Syslog协议上报日志，您可以参考如何搭建Syslog服务器收集日志并采集到LTS。日志存储方式： LTS默认支持用户存储365天，您可以修改日志存储时长。如果您需要更多的存储时长，请提交工单申请开通3年存储时长。降低存储成本：使用LTS在23年1130公测的冷存储特性，冷存储的日志存储单价比OBS仅贵25%，但是可以支持搜索，在易用性和成本上是最佳选择。转储至OBS，优点是成本低，缺点是不支持搜索历史日志的内容，使用不便利。

云日志服务 LTS 产品咨询问题

云日志服务 LTS-云日志服务LTS使用建议有哪些？:应用监控告警场景

应用监控告警场景场景描述：适用于使用日志来实时监控应用系统是否正常，提前发现系统故障的场景。 SQL告警仅支持全部用户使用的局点有：华南-广州、华北-北京四、华北-乌兰察布二零一、华北-乌兰察布一、华东-上海一、中国-香港、西南-贵阳一、亚太-新加坡、华南-深圳，支持部分白名单用户使用的局点有：亚太-曼谷、华北-北京一、华东-上海二、华北-乌兰察布二零二，其他局点暂不支持该功能。使用建议：告警统计方式：LTS有两种告警配置方式：关键词告警和SQL告警。如果您的日志是无规则的，那么适用关键词告警，例如java程序的运行日志；如果您的日志是有规则的，例如NGINX网关日志，那么适用SQL统计告警，您可以使用SQL语句对结构化的日志做统计分析，获取您想要的指标配置告警。告警规则配置：告警触发一般需要越快越好，您的告警规则统计周期建议使用1分钟。您可以使用LTS提供的默认消息模板来发送告警。如果您有个性化的诉求，您可以在系统提供的默认模板的基础上做一些修改保存为消息模板，然后发送告警。配置ELB/APIG等关键云服务日志告警：ELB经常用来作为应用系统的对外的入口，您可以打开ELB日志对接到LTS，然后配置ELB 5XX状态码告警，这样就可以及时发现系统是否有故障。同时您可以借助开箱即用的ELB仪表盘模板，观察应用系统整体的成功率。

云日志服务 LTS 产品咨询问题

云日志服务 LTS-云日志服务LTS使用建议有哪些？:云主机应用日志场景

云主机应用日志场景场景描述：适用于用户将应用系统部署在云主机上，使用LTS统一采集和搜索日志的场景。用户的应用系统一般由多个组件（也称微服务）组成，每个组件部署在至少2台云主机上。使用建议：日志采集方式：建议使用采集器ICAgent采集日志，您需要在云主机上安装ICAgent，然后使用ECS接入配置日志采集路径。不建议使用SDK、API上报日志。使用ICAgent的好处是与应用系统完全解耦，无侵入，无需更改代码，使用SDK/API等方式步骤相对复杂，如果代码编写不当容易对应用系统的稳定性造成影响。日志组规划建议：将一个应用系统的日志放在一个日志组中，日志组的名称可以使用应用系统的名称。日志流规划建议：如果您的日志是没有固定规则的日志，可以将类似组件的日志采集到同一个日志流，例如java组件、php组件、python组件。类似组件的日志采集到一个日志流的好处是日志流的数量不至于太多而难以管理，如果您的组件数量比较少（例如小于20个），您可以将每个组件的日志采集到不同的日志流。如果您的日志是类似NGINX网关这种可以结构化解析的日志，建议您将有相同格式的日志采集到同一个日志流。因为统一的日志格式才能方便您后续统一使用SQL分析功能，实现可视化图表分析。权限隔离建议：云日志服务的日志流支持企业项目隔离，通过为日志流设定不同的企业项目可以实现不同IAM用户有不同日志流的访问权限。

云日志服务 LTS 产品咨询问题

云日志服务 LTS-云日志服务LTS使用建议有哪些？:业务运营分析场景

业务运营分析场景场景描述：适用于在应用系统中打印业务日志，例如交易额、客户、产品等信息，然后使用LTS的SQL分析功能，输出可视化图表和仪表盘的场景。使用建议：日志采集方式：建议使用采集器ICAgent采集日志，将日志打印到单独的日志文件中，不要与应用程序的运行日志混在一起。不建议使用SDK、API上报日志。日志结构化解析方式：建议您打印的业务日志使用空格分割或者JSON格式，这样方便快速配置日志结构化解析规则。日志可视化呈现：您可以创建自定义的仪表盘，使用类SQL语法分析已经结构化处理好的业务日志。自定义的仪表盘中，你可以添加多个图表，也可以添加过滤器，使用LTS做业务分析，可以减少采购数据仓库，没有额外成本，上手更简单。日志加工：想要分析的业务日志混在运行日志中，或者业务日志中有些敏感数据需要删除，或者有些数据缺少维度数据，建议使用DSL加工功能对日志进行规整、富化、流转、脱敏、过滤等操作。详细请参考DSL加工。

云日志服务 LTS 产品咨询问题

云日志服务 LTS-如何从第三方云厂商将日志搬迁到华为云LTS?

如何从第三方云厂商将日志搬迁到华为云LTS? 若用户是在第三方云厂商使用日志服务，有大量数据在第三方云厂商对象存储上，希望将日志搬迁到华为云，对于不同的日志类型，请参考如下方法：热日志（用于搜索分析）：典型保存7-14天，用于应用运维，该日志不需要搬迁到华为云。用户在华为云直接启用云日志服务LTS，运行14天后，第三方云厂商保存的日志自然就老化了。详细请参考日志管理。归档日志（用于等保合规）：典型保存180天以上，用于安全合规审计，该日志一般转储存放到对象存储中。使用对象存储的迁移工具，将第三方云厂商保存在对象存储中的文件迁移到华为云对象存储服务 OBS即可。详细操作请参考迁移第三方云厂商数据至OBS。父主题：产品咨询问题

云日志服务 LTS 产品咨询问题

云服务器内容精选

产品咨询问题

7*24

备案

专业服务

退订

建议反馈

售前咨询热线