检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分布式消息服务Kafka版(Distributed Message Service for Kafka)是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka专享实例。重平衡日志记录Rebalance的详情,包括Rebalance时间、原因和触发Rebalance的客户端等。
上报高精度日志接口参考 功能介绍 该接口用于主机上报租户日志给LTS。 接入点IP可在LTS控制台安装ICAgent的安装命令中获取,端口为8102,调用时使用该参数请参见请求示例。 每次上报的时候, 每条日志都必须带一个纳秒级的时间戳。在LTS界面查看日志的时候, 会按照时间戳
请期待! 采集方法 使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务,详细操作请参考云主机ECS文本日志接入LTS。 Kafka日志示例以及字段含义 由于Kafka本身并不直接
pic-ECS)。 单击“下一步:选择主机组”。 选择主机组。 在主机组列表中,单击列表左上方“新建”,在弹出的新建主机组页面创建新的主机组,参考表4完成主机组创建,单击“确定”。 图7 新建主机组 表4 新建主机组 参数 说明 示例 主机组名称 自定义设置。只支持输入英文、数字
Number 否 字符串中结束搜索的位置。 0:第一个字符。 -1(默认值):最后一个字符。 返回结果 返回指定字符出现的次数。 函数示例 测试数据 { "name": "lts is a log service" } 加工规则 e_set("str_count", str_count(v("name")
索引设置:开启索引后,日志服务默认为hostName创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入hostName: xxx。 主机名称,ICAgent所在主机的名称。 例如示例中的"hostName":"epstest-xx518"。 hostId 字符串 索引设置:开启索引后,日
在使用云日志服务LTS之前,建议您先通过表1了解LTS提供的主要功能。 表1 产品功能 功能 说明 端云全场景日志接入 支持40+云服务、主机/容器、移动端、跨云、多语言SDK、多账号汇聚,满足全场景客户丰富的日志接入需求。 实时采集日志 云日志服务提供实时日志采集功能,采集到的
索引设置:开启索引后,日志服务默认为hostName创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入hostName: xxx。 主机名称,ICAgent所在主机的名称。 例如示例中的"hostName":"epstest-xx518"。 hostId 字符串 索引设置:开启索引后,日
规则,会导致人工耗时非常长。 前提条件 Linux系统的主机。 查询API相关接口文档。 通过查询日志转储API获取到所有转储任务的信息。 通过更新日志转储API将转储任务配置的时区修改。 在API Explorer中测试API功能,API Explorer提供API检索及平台调试能力。
4.58 您可以在云日志服务控制台的安装ICAgent页面中的命令里获取访问IP(accessip),详细请参考安装ICAgent(区域内主机)。 父主题: 使用API接入LTS
示例2:条件判断结果为true,丢弃日志。 测试数据 { "k1":"v1" , "k2": "v2", "k3": "k1" } 加工规则 e_drop(e_search("k1==v1")) 加工结果 因为k1==v1条件为true,因此丢弃该日志。 示例3:条件判断结果为false,保留日志。 测试数据 {
当valid字段的值为小写failed时,丢弃日志。 测试数据 { "valid":"failed" } 加工规则 e_if(op_eq(str_lower(v("valid")), "failed"), e_drop()) 加工结果:丢弃日志 示例4:多个条件按顺序操作。 测试数据 { "valid":"failed"
batchCountThreshold:4096 lingerMs:2000 按照参数基线值设置后,使用8U16GB的机器规格测试,上报单条日志大小为1KB。 测试结果:SDK上报日志的数据量为15MB/s,速率为1.5w条/s。 当日志上报量超过单个producer时: 建议拆分日志
示例1:将字段host重命名为client_hos。 测试数据 { "host": 1006 } 加工规则 e_rename("host","client_host") 加工结果 client_host: 1006 示例2:不存在字段时,不进行重命名。 测试数据 { "host": 1006 }
batchCountThreshold:4096 lingerMs:2000 按照参数基线值设置后,使用8U16GB的机器规格测试,上报单条日志大小为1KB。 测试结果:SDK上报日志的数据量为10MB/s,速率为1.2w条/s。 当日志上报量超过单个producer时: 建议拆分日志
表示匹配到的第几个分组,默认None,表示第一个。 返回结果 返回提取的值。 函数示例 示例1:提取字段str中符合正则表达式的第一个值。 测试数据 { "str": "iZbp1a65x3r1vhpe94fi2qZ" } 加工规则 e_set("regex", regex_select(v("str")
"”这是一个短信测试模板”", "sub_type" : "sms" } ], "type" : [ "" ] }, { "create_time" : 1702021411612, "desc" : "这是短信测试模式",
数据类型 是否必填 说明 value String 是 待解析的User-Agent字符串。 返回结果 返回JSON类型的数据集。 函数示例 测试数据 { "http_user_agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_4)
使用LTS日志计费相关问题如下,具体单价请参考官网LTS价格详情说明。 原始日志流量及索引流量、读写流量的关系: 日志读写流量:读写流量根据传输的流量计算,传输流量为压缩后的日志大小,日志一般有5倍压缩率,原始日志流量为读写流量的5倍。 示例:原始日志为10GB,实际压缩大小为 2GB,则以2GB计费。
云日志服务所在的区域,建议选择与业务应用系统相同的地域。 计算方式 推荐规格。 资源包类型 支持读写流量包、索引流量包、标准存储包、冷存储包(白名单功能)。 规格 默认支持100GB。 购买数量 资源包的数量,支持设置1-3000。 规格说明 根据用户选择的数量进行计算,例如购买2个资源包,规格为规格*规格数量=100GB*2=200GB。