检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
验,提升经营效率,实现企业的数字化转型。 在业务分析过程中经常遇到如下痛点: 移动端数据难采集:难以快速采集多种移动端设备,例如Web浏览器、IOS、安卓、百度小程序、微信小程序、钉钉小程序、快应用等多类端侧日志无法快速采集。 数据传输不可靠:移动端日志数据量多且频繁,传输速度慢
多渠道:各种渠道数据分散,例如广告商、推广人员等。 多终端:网页版、公众账号、手机、浏览器(Web、移动端页面)等。 异构网:VPC、用户自建IDC,华为云ECS等。 多开发语言:核心系统Java、前端Nginx服务器、后台支付系统C++。 设备不同:商家有不同平台(X86、ARM)设备。 如
时您需选择LTS支持的操作系统,否则无法使用LTS对主机日志进行采集。 对于Linux x86_64服务器,LTS支持上表中所有的操作系统及版本。 对于Linux ARM服务器,CentOS操作系统仅支持7.4 及其以上版本,上表所列的其他操作系统对应版本均支持。 表1 LTS支持的操作系统及版本(Linux)
成本。 应用场景 提取结构化的数据,方便后续检索分析,生成仪表盘等。 日志减肥瘦身,节约后续使用成本。丢弃不需要的日志数据,节约存储成本、流量成本。 敏感数据脱敏,例如:将用户的身份证、手机号码脱敏。 日志分类投递,例如:按照日志级别:ERROR、WARNING、INFO 将日志分类,然后分发到不同的日志主题。
建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。 数据仓库服务 GaussDB(DWS) 数据仓库服务(Data Warehouse
已安装Java开发环境。云日志服务Java SDK支持JDK1.8及以上,您可以执行java –version命令检查您已安装的Java版本。如未安装,可以从Java官方网站下载安装包进行安装。 使用说明 当用户修改权限后,权限信息在一天后生效。 SDK支持跨云/本地上报日志,当前仅支持华北-北京四、华东-上海
出日志只支持json-file类型。 虚机场景下: 最大1000个文件。 不涉及。 默认资源限制 CPU 对CPU资源的消耗最大不超过2核。 内存 对内存的消耗不超过min{4G,节点物理内存/2},超过时将启动重启保护(min{4G,节点物理内存/2}表示取“节点物理内存的一半”和“4G”中的较小值)。
服务器-DNS日志 DNS(Domain Name System,域名系统)是互联网的一项服务,它作为将域名和IP地址相互映射的一个分布式数据库,能够使人更方便地访问互联网。当用户在浏览器中输入域名时,DNS会将其解析为对应的IP地址,以便计算机能够找到正确的服务器并获取所需的信息。
已安装Java开发环境。云日志服务Java SDK支持JDK1.8及以上,您可以执行java –version命令检查您已安装的Java版本。如未安装,可以从Java官方网站下载安装包进行安装。 使用说明 当用户修改权限后,权限信息在一天后生效。 SDK支持跨云/本地上报日志,当前仅支持华北-北京四、华东-上海
已安装Java开发环境。云日志服务Java SDK支持JDK1.8及以上,您可以执行java –version命令检查您已安装的Java版本。如未安装,可以从Java官方网站下载安装包进行安装。 使用说明 当用户修改权限后,权限信息在一天后生效。 SDK支持跨云/本地上报日志,当前仅支持华北-北京四、华东-上海
是 String 资源类型,log_group / log_stream / tenant search_type 是 String 查询流量类型值为:write,index,storage,basicTransfer,seniorTransfer,coldStorage resource_id
已安装Java开发环境。云日志服务Java SDK支持JDK1.8及以上,您可以执行java –version命令检查您已安装的Java版本。如未安装,可以从Java官方网站下载安装包进行安装。 使用说明 当用户修改权限后,权限信息在一天后生效。 SDK支持跨云/本地上报日志,当前仅支持华北-北京四、华东-上海
采集器隐私声明 由于LTS会将运维数据内容展示到LTS控制台,请您在使用过程中,注意您的隐私及敏感信息数据保护,不建议将隐私或敏感数据上传到LTS,必要时请加密保护。 采集器部署 在ECS上手动部署ICAgent过程中,安装命令会使用到您的AK/SK作为输入参数,安装前请您关闭系
分别为TCP的端口30200、30201、8149、8923、8102、80添加监听器。具体请参见添加TCP监听器。 创建一个后端服务器组,并将所有的跳板机放置在同一个后端服务器组,具体请参见添加后端云服务器。 返回云日志服务控制台,在“安装ICAgent”页面,将ELB的弹性公网IP
义。 否 否 GAUSSDB_MYSQL慢日志 根据GAUSSDB_MYSQL资料中提供的日志字段被定义。 否 否 ER企业路由器 根据ER企业路由器资料中提供的日志字段被定义。 否 否 MYSQL审计日志 根据MYSQL审计日志资料中提供的日志字段被定义。 否 否 GeminiDB
义。 否 否 GAUSSDB_MYSQL慢日志 根据GAUSSDB_MYSQL资料中提供的日志字段被定义。 否 否 ER企业路由器 根据ER企业路由器资料中提供的日志字段被定义。 否 否 MYSQL审计日志 根据MYSQL审计日志资料中提供的日志字段被定义。 否 否 GeminiDB
企业路由器ER接入LTS 支持ER企业路由器日志接入LTS。 具体接入方法请参见创建流日志。 父主题: 使用云服务接入LTS
使用默认拦截器处理日志 使用Flume采集器时,拦截器是简单的插件式组件,设置在Source和Channel之间。Source接收到的事件Event,在写入Channel之前,拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个Source接收到的事件。 时间戳拦截器 该拦截
使用默认拦截器处理日志 使用Flume采集器时,拦截器是简单的插件式组件,设置在Source和Channel之间。Source接收到的事件Event,在写入Channel之前,拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个Source接收到的事件。 时间戳拦截器 该拦截
支持和其他函数组合使用。 e_search 提供一种简化,类似Lucene语法的事件搜索方式。该功能在邀测期间,e_search函数处理日志流量比较小,请谨慎使用。 函数格式 e_search(querystring) 参数说明 参数名称 参数类型 是否必填 说明 querystring