检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开启 采集二进制文件 用于对接入的二进制文件日志进行采集,本示例开启“采集二进制文件”开关。 您可以通过命令(file -i 文件名)查看文件类型,如果包含charset=binary,那么该日志文件就是二进制文件。 打开“采集二进制文件”开关,则对接入的二进制文件日志进行采集,但
修改Grafana配置文件 打开配置文件: 使用YUM或RPM安装的Grafana:/etc/grafana/grafana.ini 使用.tar.gz文件安装的Grafana:{PATH_TO}/grafana-{VERSION}/conf/defaults.ini 在配置文件的[plug
储路径。 登录Zabbix所在服务器。 打开zabbix_server.conf文件。 vim /etc/zabbix/zabbix_server.conf 在zabbix_server.conf文件中,设置数据存储路径。 ExportDir=/tmp/ 重启Zabbix服务,使配置生效。
LTS:提供迭代搜索能力,用户可以直接搜索千亿条日志。 日志管理规模 百PB级 百TB级 ELK:经常要关注机器扩容,费时费力。 LTS:按需付费,LTS自动管理百PB级日志,不用关心底层资源消耗情况。 日志搜索 SQL分析日志 ☆☆☆☆☆ ☆☆ ELK:SQL性能差,语法上不支持嵌套SQL。
endpoint String 是 OBS中保存的文件地址。如obs.cn-north-4.huawei.com bucket String 是 OBS中使用的桶名,如lts-dsl。 file String 是 目标OBS文件的路径。例如test/data.txt,不能以正斜线(/)开头。
日志转储 批量修改LTS日志文件转储时区
指定。 独立部署的Flink集群:如果在独立模式下部署Flink集群,那么日志文件通常位于Flink安装目录下的log或logs文件夹中。如果Flink安装在/usr/local/flink,则日志文件可能位于/usr/local/flink/log 或 /usr/local/flink/logs。
LTS.0202 Write to file failed. 写入文件失败。 请检查文件写权限。 LTS.0203 No file read and write permissions. 无文件读写权限。 请授权文件/目录读写权限。 网络类错误 (LTS.03XX) LTS.0300
数据富化 从OBS获取csv文件进行数据富化 使用e_dict_map、e_search_dict_map函数进行数据富化 构建字典与表格进行数据富化 父主题: 日志加工(邀测)
性造成影响。 采集容器应用日志的方式有:容器标准输出、容器文件、节点文件、K8S事件,建议优先使用容器文件。对比容器标准输出,容器文件的优点是可以持久化挂载到主机上,且输出的内容用户自主控制性更强。对比节点文件,容器文件的优点是采集的日志有命名空间、工作负载、POD等元数据信息,在搜索日志的时候更加便捷。
当前华为云支持ECS机器通过安装ICAgent来采集日志文件,因此可以基于该功能实现Elasticsearch日志导入云日志服务。 Elasticsearch数据先通过python脚本将数据落盘到ECS,然后通过LTS服务的日志接入功能,将落盘的日志文件采集到LTS服务。 图1 方案流程图 将自建ELK日志导入云日志服务LTS
创建访问密钥成功后,您可以在访问密钥列表中查看访问密钥ID(AK),在下载的.csv文件中查看访问密钥(SK)。 请及时下载保存,弹窗关闭后将无法再次获取该密钥信息,但您可重新创建新的密钥。 当您下载访问密钥后,可以在浏览器页面左下角打开格式为.csv的访问密钥文件,或在浏览器“下载内容”中打开。 为了账号安全性,
在AOM关闭超额继续采集日志开关,会影响LTS收集日志吗? 使用ICAgent收集日志时CPU占用较高怎么处理? 云日志服务LTS支持采集的日志类型和文件类型有哪些? 如何在LTS页面关闭CCE标准输出日志采集到AOM? 使用ICAgent采集日志时,推荐的日志轮转方案是什么? 是否支持Log4j插件上报日志到LTS?
GROUP BY report_topic ) GROUP BY report_topic) 采集文件数图表所关联的查询分析语句如下所示: select diff[1] as "采集文件数" , case when diff[3] is not null then round(diff[3]
服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。 基
致获取到的日志数量跟LTS页面查询的日志数量不一致。 语法结构 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 CREATE TABLE source ( field1 INT, field2
归档日志(用于等保合规):典型保存180天以上,用于安全合规审计,该日志一般转储存放到对象存储中。使用对象存储的迁移工具,将第三方云厂商保存在对象存储中的文件迁移到华为云对象存储服务OBS即可。详细操作请参考迁移第三方云厂商数据至OBS。 父主题: 产品咨询问题
转储条件已触发,待转储成功时会有时间延迟。 延迟10Min。 例如:转储周期30分钟,8:30开始转储,最晚8:40可见转储文件。 不涉及。 转储目标桶 仅支持标准桶,不支持并行文件系统。 不涉及。 转储DIS 单个日志流转储任务数量 1 个日志流只能配置一个转储DIS任务。 不涉及。 转储周期
用户机器已经安装了JDK。 用户已经安装Flume,并且需要在Flume中配置文件中配置JDK路径。 使用Flume采集文本日志上报到LTS 支持使用Flume采集文本日志内容上报至LTS,参考如下示例添加采集文本日志的conf文件。以下示例中的参数介绍请参考使用KAFKA协议上报日志。 #Named
用户机器已经安装了JDK。 用户已经安装Flume,并且需要在Flume中配置文件中配置JDK路径。 使用Flume采集文本日志上报到LTS 支持使用Flume采集文本日志内容上报至LTS,参考如下示例添加采集文本日志的conf文件。以下示例中的参数介绍请参考使用KAFKA协议上报日志。 #Named