检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“确定”,开始启动配置文件启动Logstash迁移任务。 可以在管道列表看到启动的配置文件。 热启动配置文件 当管道列表有“工作中”的任务时,通过热启动配置文件启动Logstash迁移任务。一次只能选择一个配置文件进行热启动,即一次只能新增一个管道。 在配置文件列表,选择一个需要热
在集群管理列表页面,选择待导入数据的集群,在“内网访问地址”列获取并记录集群的内网IP地址<host>和端口<port>,一般是“<host>:<port>”或“<host>:<port>,<host>:<port>”样式。 当集群只有一个节点时,此处仅显示1个节点的IP地址和端口号,例如“10
开启访问日志记录到文件 开启访问日志记录到文件后,客户端访问集群节点,会记录为{集群名_access_log.log}文件,通过日志备份功能可以在OBS详细查看访问日志。 该功能一般用于定位问题,问题解决后,建议关闭此开关。 执行如下命令,开启访问日志记录到文件。 PUT /_cluster/settings
查询集群支持的elbv3负载均衡器 cluster listElbs 打开或关闭ES负载均衡器 cluster enableOrDisableElb ES监听器配置 cluster createElbListener 获取该esELB的信息 cluster showElbDetail
查询集群支持的elbv3负载均衡器 cluster listElbs 打开或关闭ES负载均衡器 cluster enableOrDisableElb ES监听器配置 cluster createElbListener 获取该esELB的信息 cluster showElbDetail
在集群管理列表页面,选择待导入数据的集群,在“内网访问地址”列获取并记录集群的内网IP地址<host>和端口<port>,一般是“<host>:<port>”或“<host>:<port>,<host>:<port>”样式。 当集群只有一个节点时,此处仅显示1个节点的IP地址和端口号,例如“10
登录部署了Logstash的服务器,将需要进行操作的数据文件存储至此服务器中。 例如,需要导入的数据文件“access_20181029_log”,文件存储路径为“/tmp/access_log/”,此数据文件中包含的数据如下所示: 文件存储路径中的access_log文件夹如果不存在,用户可以自建。 |
登录部署了Logstash的服务器,将需要进行操作的数据文件存储至此服务器中。 例如,需要导入的数据文件“access_20181029_log”,文件存储路径为“/tmp/access_log/”,此数据文件中包含的数据如下所示: 文件存储路径中的access_log文件夹如果不存在,用户可以自建。 |
管理”。 在集群管理列表页面,选择需要访问的集群,在“内网访问地址”列获取CSS集群的IP地址,一般是“<host>:<port>”或“<host>:<port>,<host>:<port>”样式。 如果集群只有一个节点,此处仅显示1个节点的IP地址和端口号,例如“10.62.179
filebeat是性能非常出色的文件采集工具,绝大多数的业务日志可以很容易的在1秒内收集至elasticsearch内,但是个别日志量大的业务日志无法及时收集,按照官方的默认配置通常1核CPU分配给filebeat时,写ES的速率低于1M/S,这里可以针对filebeat.yml配置文件做优化,提高写入ES的性能。
在集群管理列表页面,选择需要访问的集群,在“内网访问地址”列获取并记录集群的内网IP地址<host>,一般是“<host>:<port>”或“<host>:<port>,<host>:<port>”样式。 当集群只有一个节点时,此处仅显示1个节点的IP地址和端口号,例如“10
在集群管理列表页面,选择需要访问的集群,在“内网访问地址”列获取并记录集群的内网IP地址<host>,一般是“<host>:<port>”或“<host>:<port>,<host>:<port>”样式。 当集群只有一个节点时,此处仅显示1个节点的IP地址和端口号,例如“10
/_vector/stats 在向量插件实现中,向量索引与Lucene其他类型索引一样,每一个segment构造并存储一份索引文件,在查询时,该索引文件会被加载到堆外内存中。插件使用缓存机制对这些堆外内存进行管理。上述API能够查询当前堆外内存使用量、缓存命中次数、加载次数等信息。
/_vector/stats 在向量插件实现中,向量索引与Lucene其他类型索引一样,每一个segment构造并存储一份索引文件,在查询时,该索引文件会被加载到堆外内存中。插件使用缓存机制对这些堆外内存进行管理。上述API能够查询当前堆外内存使用量、缓存命中次数、加载次数等信息。
创建用于数据同步的Logstash配置文件。 在Logstash集群的配置中心页面,单击右上角“创建”,进入创建配置文件页面,编辑配置文件。 表1 创建配置文件 参数 说明 名称 自定义配置文件名称。 只能包含字母、数字、中划线或下划线,且必须以字母开头。必须大于等于4个字符。 配置文件内容 参考下面的代码示例开发配置文件内容。
配置Filebeat的配置文件“filebeat.yml”。 例如,采集“/root/”目录下以“log”结尾的所有文件,配置文件“filebeat.yml”中的内容如下: filebeat.inputs: - type: log enabled: true # 采集的日志文件路径。
在集群管理列表页面,选择需要访问的集群,在“内网访问地址”列获取并记录集群的内网IP地址<host>,一般是“<host>:<port>”或“<host>:<port>,<host>:<port>”样式。 当集群只有一个节点时,此处仅显示1个节点的IP地址和端口号,例如“10
shboards.yml”配置文件修改、系统配置、回程路由等。 有些非标操作是兼容的,例如安全插件的修改,可以通过元数据保留下来;系统配置修改,可以通过镜像的操作保留下来。但是有些非标操作例如“opensearch_dashboards.yml”文件修改就无法保留,需要提前备份。
升级过程中,系统会自动同步集群配置文件“elasticsearch.yml”中的内容。 如果集群有自定义的参数配置,升级完成后,配置都未丢失。 非标操作 人工检查 确认是否存在非标操作。非标操作指的是没有被记录下来的手动操作,这些操作在升级过程中无法自动传递,比如“kibana.yml”配置文件修改、系统配置、回程路由等。
在配置中心界面,单击右上角“创建”,进入创建配置文件页面,编辑配置文件。 图7 配置任务 表5 创建配置文件参数说明 参数 说明 取值样例 名称 自定义配置文件名称。 只能包含字母、数字、中划线或下划线,且必须以字母开头。必须大于等于4个字符。 es-es 配置文件内容 展开上方“系统模板”,选择