检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Server)是一款兼具虚拟机弹性和物理机性能的计算类服务,为您和您的企业提供专属的云上物理服务器,为核心数据库、关键应用系统、高性能计算、大数据等业务提供卓越的计算性能以及数据安全。 当您选择了裸金属服务BMS接入方式时,云日志服务可以将BMS待采集日志的路径配置到日志流中,IC
中间件-Flink日志 Flink是一个大数据处理引擎的处理框架,是针对流进行的处理。它是Apache旗下的一个框架和分布式的处理引擎,用于对无界和有界的数据进行状态的计算。Flink的核心特点包括高吞吐、低延迟(每秒处理数百万个事件,毫秒级延迟),以及结果的准确性(Flink提
日志转储至DIS DIS提供丰富的大数据分析能力,可以将大量日志文件传输到云端做备份,进行离线分析、存储查询及机器学习,还能用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件,提高数据处理性能。您可以根据业务场景选择是否使用DIS进行日志转储。 建议您优先使用转储至DMS。
传输速度慢,也极易出现丢失,对业务分析造成一定影响。 数据处理不方便:原始数据不方便处理,不方便快速与大数据平台实现对接。 云日志服务LTS支持采集多种移动端日志,融合大数据完成业务运营分析,基于LTS可以实现: 端侧日志全面采集接入:集成LTS提供的多种移动端SDK,实现了缓
云服务接入LTS概述 云日志服务(LTS)支持采集计算、存储、安全、数据库等多种华为云服务的日志数据,您可以使用LTS对云服务日志进行关键词搜索、运营数据统计分析、运行状况监控告警等多种操作。当前LTS支持采集的云服务日志如下表所示: 表1 云服务接入 序号 云服务简称 云服务名称
监控安全风险 LTS通过多种方式监控安全风险,保障数据安全可靠。 表1 LTS的监控安全风险 监控安全风险 简要说明 详细介绍 日志告警 LTS支持日志告警能力,包括关键词告警和SQL告警。 关键词告警:对日志流中的日志数据进行关键词统计,通过设置告警规则,监控日志中的关键词,通
数据仓库服务(Data Warehouse Service,简称DWS)是完全托管的企业级云上数据仓库服务,具备高性能、低成本、易扩展等特性,满足大数据时代企业数据仓库业务诉求。适用于对海量日志进行存储,分析等场景。 数据湖探索 DLI 数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache
数据保护技术 LTS通过多种数据保护手段和特性,保障LTS的数据安全可靠。 表1 LTS的数据保护手段和特性 数据保护手段 简要说明 详细介绍 传输加密(HTTPS) LTS支持HTTPS传输协议,保证数据传输的安全性。 构造请求 日志冗余存储 日志数据以多副本方式存储,保障数据可靠性。
转储至OBS,优点是成本低,缺点是不支持搜索历史日志的内容,使用不便利。 大数据组件日志采集场景 场景描述:有些用户会使用MRS/Flink/Spark等大数据组件做数据处理,希望采集自定义的日志到LTS,但是不希望采集大数据组件的运行日志(对于业务分析价值小)。 使用建议: 日志采集方式:推荐用户使用JAVA
集团公司的运营部门也可能出于运营分析的诉求,期望将不同账号下各个业务部门的关键日志集中存储和分析,汇聚到一个日志账号中,方便后续进行统一的大数据处理和可视化展示。 方案介绍 组织(以下简称Organizations)云服务为企业用户提供多账号关系的管理能力。Organizatio
行匿名化处理。 如涉及处理不满十四周岁未成年人个人信息前,应取得未成年人的父母或其他监护人的同意。 如涉及处理个人信息用于个性化推荐功能或大数据分析业务的,应告知并取得最终用户的授权同意情况下方可开展相关业务功能。 如涉及处理敏感个人信息前,应取得最终用户的单独同意。 如涉及跨境
数据库以及线下数据库的异构数据进行探索。 基于转储DLI功能,您可以轻松将LTS中的日志按照字段映射关系转储到DLI数据库表中,进行后续的大数据分析工作。 目前此功能仅在华北-北京四、华南-广州、华东-上海一局点支持白名单用户提交工单申请使用,详细操作请参考提交工单,其他局点暂不支持该功能。
安全云脑SecMaster接入LTS 支持安全云脑SecMaster日志接入LTS。 具体接入方法请参见新增数据投递。 父主题: 使用云服务接入LTS
ICAgent插件采集日志概述 云日志服务LTS支持通过ICAgent采集方式上报日志。在创建日志接入时设置采集配置策略,例如解析规则、白名单规则、黑名单规则、上传原始日志等参数,实现定制化的采集策略。ICAgent采集配置定义了如何在服务器上采集同类日志并解析、发送到指定的日志流上。
云防火墙CFW接入LTS 支持云防火墙CFW日志接入LTS。LTS对于采集的日志数据,通过海量日志数据的分析与处理,可以为您提供一个实时、高效、安全的日志处理能力。 具体接入方法请参见配置日志。 父主题: 使用云服务接入LTS
从OBS获取csv文件进行数据富化 本文档介绍如何通过资源函数和映射富化函数从OBS中获取数据对日志数据进行富化。 前提条件 已上传csv文件到OBS。 背景信息 OBS是华为云提供的一个高可靠、高性能、高安全的基于对象的海量存储云服务。针对更新不频繁的数据,建议您存储在OBS上
DCS仪表盘模板 分布式缓存服务(Distributed Cache Service,简称DCS)是一款内存数据库服务,兼容了Redis内存数据库引擎,满足用户高并发及数据快速访问的业务诉求。云日志服务提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。
**只能出现一次 5.最大数量为10 black_paths 否 Array of strings 1.路径必须以/或者字母:\开头 2.不能包含特殊字符<> ' | " 且不能只输入/ 3.第一级目录不支持通配符*:不能以/** /*开头 4.**只能出现一次 5.最大数量为10 format
DDS仪表盘模板 文档数据库服务(Document Database Service)完全兼容MongoDB协议,提供安全、高可用、高可靠、弹性伸缩和易用的数据库服务,同时提供一键部署、弹性扩容、容灾、备份、恢复、监控和告警等功能。云日志服务进行分析日志、搜索日志、日志可视化、下载日志和查看实时日志等操作。
ServiceStage容器应用日志接入LTS 云日志服务(Log Tank Service,简称LTS),用于收集来自容器CCE的日志数据,通过海量日志数据的分析与处理,可以将云服务和应用程序的可用性和性能最大化,为您提供实时、高效、安全的日志处理能力,帮助您快速高效地进行实时