检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用ICAgent收集日志时CPU占用较高怎么处理? 云日志服务LTS支持采集的日志类型和文件类型有哪些? 如何在LTS页面关闭CCE标准输出日志采集到AOM? 使用ICAgent采集日志时,推荐的日志轮转方案是什么? 是否支持Log4j插件上报日志到LTS? LTS配置日志接入后多久有日志?
接入LTS。 支持采集Logstash、Flume、Beats开源软件中的数据。 支持通过HTTP、HTTPS、Syslog、Kafka等标准协议接入数据。 应用场景 某个外卖平台型电商网站(包括用户、餐厅、配送员等),用户可以在网页、App、微信、支付宝等进行下单点菜,商家拿到
击“查询”。 单击图标,使用折线图展示查询数据。在通用配置下方,参考表1配置参数。 图1 折线图 表1 折线图参数说明 类别 参数 说明 标准配置 格式化 在下拉框选择K,Mil,Bil、1000000或Byte,KB,MB等格式,将Y轴按照指定格式进行显示。 单位 自定义配置Y轴的单位。
转储条件已触发,待转储成功时会有时间延迟。 延迟10Min。 例如:转储周期30分钟,8:30开始转储,最晚8:40可见转储文件。 不涉及。 转储目标桶 仅支持标准桶,不支持并行文件系统。 不涉及。 转储DIS 单个日志流转储任务数量 1 个日志流只能配置一个转储DIS任务。 不涉及。 转储周期 实时转储。
击“查询”。 单击图标,使用柱状图展示查询数据。在通用配置下方,参考表1配置参数。 图1 柱状图 表1 柱状图参数说明 类别 参数 说明 标准配置 格式化 将Y轴按照指定格式进行显示。 单位 自定义配置Y轴的单位。 小数点位数 设置显示数值小数点位数。 图表名称字号 设置图表名称的字号大小。
监控文件数 容器场景下: 每个通过卷挂载日志的路径下,ICAgent最多采集20个日志文件。 每个ICAgent最多采集1000个容器标准输出日志文件,容器标准输出日志只支持json-file类型。 虚机场景下: 最大1000个文件。 不涉及。 默认资源限制 CPU ICAgent版本低于5
COUNT(*) COUNT(DISTINCT expr) 统计字段中去重后的行数,字段值可以是字符串或者数字,返回值为估算值(默认存在2.3%的标准误差)。 SELECT COUNT(DISTINCT host) SUM(expr) 返回数字总和。 SELECT SUM(visitCount)
处理动作,再将处理好的任务提交到发送任务池后,上报到LTS。 ICAgent安装说明 如果需要采集主机指标、容器指标、节点日志、容器日志、标准输出日志等,则需要在采集日志的机器上安装ICAgent。 请参考安装ICAgent(区域内主机)和安装ICAgent(区域外主机)。 区域
围,单击“查询”。 单击图标,使用饼图展示查询数据。在通用配置下方,参考表1配置参数。 图1 饼图 表1 饼图参数说明 类别 参数 说明 标准配置 格式化 在下拉框选择K,Mil,Bil、1000000或Byte,KB,MB等格式,将Y轴按照指定格式进行显示。 单位 自定义配置Y轴的单位。
只能转换一个日志流,使用不方便,有新增日志结构的时候就需要新增函数,功能繁琐,使用不够灵活。 函数加工需要使用函数工作流服务,且还需要独立收费,长期使用增加成本。 应用场景 提取结构化的数据,方便后续检索分析,生成仪表盘等。 日志减肥瘦身,节约后续使用成本。丢弃不需要的日志数据,节约存储成本、流量成本。
日志存储空间:日志存储空间为压缩后的日志数据、索引数据、副本数据之和,这些空间约等于原始日志数据大小。 示例:原始日志为10GB,那么一天存储最大收费为 0.000479*24*10=0.12元(金额如果遇小数点,则保留小数点后两位,第三位四舍五入。如遇四舍五入后不足¥0.01 元,则按¥0
isQueryComplete为true状态,则表示读取了所有数据。 Java示例代码参考如下,更多信息请参考云日志服务Java SDK(标准插件)。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22
志时,只需传入一个空的windows_log_info字段。 stdout 否 Boolean 标准输出开关,仅CCE接入类型时使用 stderr 否 Boolean 标准输出开关标准错误开关,仅CCE接入类型时使用 pathType 否 String CCE接入类型,仅CCE接入类型时使用
missing=None, mode="overwrite") 参数说明 参数名称 数据类型 是否必填 说明 data Dict 是 目标数据字典。必须为标准的{key01:value01,key01:value02,...}格式,且必须是字符串。例如{"1": "TCP", "2": "UDP"
数据保护技术 LTS通过多种数据保护手段和特性,保障LTS的数据安全可靠。 表1 LTS的数据保护手段和特性 数据保护手段 简要说明 详细介绍 传输加密(HTTPS) LTS支持HTTPS传输协议,保证数据传输的安全性。 构造请求 日志冗余存储 日志数据以多副本方式存储,保障数据可靠性。
数据富化 从OBS获取csv文件进行数据富化 使用e_dict_map、e_search_dict_map函数进行数据富化 构建字典与表格进行数据富化 使用DSL加工函数过滤VPC流日志公网流量 父主题: 日志加工(邀测)
foCreate object 日志接入采集Windows事件日志 stdout Boolean 标准输出开关,仅CCE接入类型时使用 stderr Boolean 标准输出开关标准错误开关,仅CCE接入类型时使用 pathType String CCE接入类型,仅CCE接入类型时使用
auth_web_tracking String 匿名写入开关 ttl_in_days String 日志存储天数 hot_storage_days String 标准存储天数 状态码:400 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码。 最小长度:8 最大长度:8
中间件-Flink日志 Flink是一个大数据处理引擎的处理框架,是针对流进行的处理。它是Apache旗下的一个框架和分布式的处理引擎,用于对无界和有界的数据进行状态的计算。Flink的核心特点包括高吞吐、低延迟(每秒处理数百万个事件,毫秒级延迟),以及结果的准确性(Flink提
裸金属服务BMS文本日志接入LTS 裸金属服务器(Bare Metal Server)是一款兼具虚拟机弹性和物理机性能的计算类服务,为您和您的企业提供专属的云上物理服务器,为核心数据库、关键应用系统、高性能计算、大数据等业务提供卓越的计算性能以及数据安全。 当您选择了裸金属服务B