检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当转储格式选择JSON时,需要设置该参数。 是否开启日志流标签字段。开启后,转储类型支持转储所有字段或自定义转储字段。 选择转储所有字段后将转储日志下所有的日志流标签字段,选择自定义转储字段后将手动配置日志流标签字段。如何设置标签请参考管理日志流。 - 更多配置 当转储格式选择JSON时,需要设置该参数。
batchSizeThresholdInBytes:524288 batchCountThreshold:4096 lingerMs:2000 按照参数基线值设置后,使用8U16GB的机器规格测试,上报单条日志大小为1KB。 测试结果:SDK上报日志的数据量为10MB/s,速率为1.2w条/s。 当日志上报量超过单个producer时:
// 设置此批日志公共标签 structLogItem.setLabels(getLabels()); // 添加日志List structLogItem.setLogs(getLogs()); // 设置此批日志公共路径
producer 可用空间不足,调用者在 send 方法上的最大阻塞时间,默认为 60 秒。建议为0秒。 当maxBlockMs值>=0时,则阻塞到设置的时间,如果到达阻塞时间,还是不能获取到内存,即报错且丢弃日志。 当maxBlockMs值=-1时,则一直阻塞到发送成功,且不会丢弃日志。
设置多账号日志汇聚后如何只保存一份日志内容? 参考设置多账号日志汇聚成功后,即源日志组/日志流的日志内容汇聚到目标日志组/日志流,LTS同时保存用户两个账号下的日志内容。用户创建源日志组/日志流和目标日志组/日志流时会设置日志存储时间,LTS按照日志存储时间保存日志内容。如何设置保存一份日志内容,请参考如下操作。
日志结构化是以日志流为单位。 日志流中的大部分日志需有一定的规则,否则结构化是无意义的。 结构化配置修改后,对新写入的日志数据生效,历史日志数据不会生效。 父主题: 设置云端结构化解析日志
云日志服务(LTS)提供一套搜索语法用于设置搜索条件和指定日志查询时的过滤规则,从而筛选日志中满足条件的记录,筛选结果可以用于分析语句,进行更复杂的分析处理。 为了快速了解并使用搜索语法,建议您了解以下信息:搜索方式、短语搜索、运算符、搜索语句示例。 使用搜索语法前,请您在索引配置处设置对应分词符,如无特殊需要,可直接使用默认的分词符
支持压缩方式:gzip,snappy,lz4。 KAFKA认证方式为 SASL_PLAINTEXT 认证。 KAFKA协议的ACKS参数必须设置为0。 配置方式 使用Kafka协议上报日志时,需要使用到的通用参数如下。 表1 通用参数 参数名称 描述 类型 projectId 用户账号的项目ID(project
场景可能导致日志丢失或日志重复。 日志文件未使用CCE提供的logPolicy轮转策略。 日志文件轮转速度过快,如1秒轮转一次。 系统安全设置或syslog自身原因导致无法转发日志。 容器运行时间过短,例如小于30s。 单节点总日志产生速度过快,超过了单节点网络发送带宽或日志采集
日志结构化是以日志流为单位。 日志流中的大部分日志需有一定的规则,否则结构化是无意义的。 结构化配置修改后,对新写入的日志数据生效,历史日志数据不会生效。 父主题: 设置云端结构化解析日志
channels = c1 a1.sinks.k1.channel = c1 使用默认拦截器处理日志 使用Flume采集器时,拦截器是简单的插件式组件,设置在Source和Channel之间。Source接收到的事件Event,在写入Channel之前,拦截器都可以进行转换或者删除这些事件。每
403 Forbidden。请求被拒绝访问。返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 { "error_code" : "LTS.0001", "error_msg"
channels = c1 a1.sinks.k1.channel = c1 使用默认拦截器处理日志 使用Flume采集器时,拦截器是简单的插件式组件,设置在Source和Channel之间。Source接收到的事件Event,在写入Channel之前,拦截器都可以进行转换或者删除这些事件。每
403 Forbidden。请求被拒绝访问。返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 { "error_code" : "LTS.0001", "error_msg"
LTS部署时通过物理区域划分,为项目级服务。授权时,“作用范围”需要选择“区域级项目”,然后在指定区域对应的项目中设置相关权限,并且该权限仅对此项目生效;如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。访问LTS时,需要先切换至授权区域。 权限根据授权精细程度分为角色和策略。
符处理。 开启格式化按钮:设置JSON默认展开层级,最大设置为10层。 关闭格式化按钮:对于JSON格式的日志,将不会格式化层级显示。 日志折叠设置 鼠标悬浮在按钮上,单击“日志折叠设置”,在弹出的日志折叠设置页面中,设置长日志字符个数。 日志超过设置的长日志字符个数时,超出字符
MOBILE_CARRIER('17052294531') 表3 查询分析结果 类型 场景 查询语句 MOBILE_CARRIER('17052294531') 返回结果 中国移动 mobile_city函数 分析电话号码所属的城市。 语法:mobile_city(expr) 表4 参数说明 参数名称 描述 类型 是否必选
云日志服务提供多种接入方式实现海量日志接入LTS,支持日志搜索引擎、SQL分析引擎、日志加工引擎,详细请参考图1。 端云全场景日志接入:40+云服务、主机/容器、移动端、跨云、多语言SDK、多账号汇聚,满足全场景客户丰富的日志接入需求。 海量日志存储搜索:百亿日志秒级搜索,千亿日志迭代搜索,PB级智能冷存储。
用于上报的公网地址域名,支持带端口号,比如:https://lts-access.cn-north-4.myhuaweicloud.com:443;如未设置url,将根据region自动生成链接,格式如下:https://lts-access.{region}.myhuaweicloud.com
用于上报的公网地址域名,支持带端口号,比如:https://lts-access.cn-north-4.myhuaweicloud.com:443;如未设置url,将根据region自动生成链接,格式如下:https://lts-access.{region}.myhuaweicloud.com。