检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Logstash迁移任务 创建Logstash配置文件 启动Logstash迁移任务 停止Logstash迁移任务 Logstash配置文件模板介绍 父主题: 使用Logstash迁移数据
冻结索引到OBS后仍可执行查询命令获取索引信息的原理 由于Elasticsearch和OpenSearch集群默认使用本地存储,底层的Lucene索引文件存储在本地磁盘,Lucene通过Directory接口与底层存储进行交互,通过以下接口可以读取文件。
查询配置文件列表 查询配置文件列表。 查询pipeline列表 该接口用于查询pipeline列表。 查询操作记录 该接口用于查询操作记录。 查询配置文件内容 该接口用于查询配置文件内容。 删除配置文件 删除配置文件。 删除自定义模板 该接口用于删除自定义模板。
bucket String 最近一次更新存放词库文件的OBS桶。 mainObj String 主词词库文件对象。 stopObj String 停词词库文件对象。 synonymObj String 同义词词库文件对象。
图6 Logstash配置中心界面 在配置中心界面,单击右上角“创建”,进入创建配置文件页面,编辑配置文件。 图7 配置任务 表5 创建配置文件参数说明 参数 说明 取值样例 名称 自定义配置文件名称。 只能包含字母、数字、中划线或下划线,且必须以字母开头。
停止全部迁移任务 当需要停止管道列表中全部配置文件的数据迁移任务时,单击管道列表上方的“全部停止”。 根据对话框提示,单击“确定”,停止所有管道的数据迁移任务。 全部停止成功则可以看到管道列表所有任务均停止,且全部管道数据迁移中断。
在ECS上安装Kibana,并修改配置文件。
在ECS上安装OpenSearch Dashboards,并修改配置文件。
表4 systemTemplates 参数 参数类型 描述 id String 配置文件id。 name String 配置文件名称。 confContent String 配置文件内容。 desc String 描述。
例如,采集“/root/”目录下以“log”结尾的所有文件,配置文件“filebeat.yml”中的内容如下: filebeat.inputs: - type: log enabled: true # 采集的日志文件路径。
使用华为云Logstash迁移Elasticsearch集群的Logstash配置文件样例
≥ 0 total_fs_size 文件系统总大小 CSS集群的文件系统总大小。 单位:byte ≥ 0 bytes free_fs_size 文件系统可用大小 CSS集群的文件系统可用大小。
≥ 0 total_fs_size 文件系统总大小 CSS集群的文件系统总大小。 单位:byte ≥ 0 bytes free_fs_size 文件系统可用大小 CSS集群的文件系统可用大小。
设置配置文件名称:在“名称”处自定义配置文件名称,例如“es-es-inc”。 修改配置文件内容:在“配置文件内容”处填写Elasticsearch集群的迁移配置方案,配置文件示例如下。 不同的索引的增量迁移配置不同,必须基于索引分析给出增量配置文件迁移命令。
CSS服务的集群节点磁盘空间用于存放哪些文件? CSS服务使用的数据压缩算法是什么? CSS服务中Kibana是否支持导出数据功能?
Logstash集群支持通过配置中心修改logstash的配置文件,支持将redis、elasticsearch、jdbc等多种数据源导入到Elasticsearch集群。
管理OpenSearch集群 查看OpenSearch集群信息 创建OpenSearch集群用户并授权使用 设置OpenSearch集群标签 配置OpenSearch集群YML文件默认参数 为OpenSearch集群绑定企业项目 变更OpenSearch集群节点规格 替换OpenSearch
集群访问不同的文件,访问的模式是不一样的,缓存系统支持多级缓存,会使用不同大小的block来缓存不同的文件,例如fdx和tip文件会使用大量的小block缓存,对fdt文件会使用较少的大block缓存。缓存配置支持基于业务情况进行修改,配置项请参见表8。
管理Elasticsearch集群 查看Elasticsearch集群信息 创建Elasticsearch集群用户并授权使用 设置Elasticsearch集群标签 配置Elasticsearch集群YML文件默认参数 为Elasticsearch集群绑定企业项目 变更Elasticsearch
开启访问日志记录到文件 开启访问日志记录到文件后,客户端访问集群节点,会记录为{集群名_access_log.log}文件,通过日志备份功能可以在OBS详细查看访问日志。 该功能一般用于定位问题,问题解决后,建议关闭此开关。 执行如下命令,开启访问日志记录到文件。