检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装Logstash之前,需要先安装JDK。在Linux操作系统中,您可以执行yum -y install java-1.8.0命令直接安装1.8.0版本JDK。在Windows操作系统中,您可以访问JDK官网,下载符合操作系统版本的JDK,并根据指导安装。 安装完Logstash后,再根据如下步骤导入数据。安
newname -keystore ./truststore.jks -file ./CloudSearchService.cer 在Windows系统中,执行如下命令转换证书。 keytool -import -alias newname -keystore .\truststore
(可选)迁移索引结构:通过脚本迁移Elasticsearch集群的索引模板和索引结构。 创建Logstash集群:创建一个Logstash集群用于迁移数据。 验证集群间的网络连通性:验证Logstash和源Elasticsearch集群的连通性。 使用Logstash迁移集群 在集群迁移初期或需要确保数据完整性
CSS服务中如何转换CER安全证书的格式? 启用了HTTPS访问的安全集群可以下载CSS服务安全证书(CloudSearchService.cer)。而大多数软件支持“.pem”或“.jks”格式的证书,因此要对安全证书进行格式转换。 将安全证书从“.cer”格式转换为“.pem”格式。
如果使用的集群版本支持流量控制功能,可以开启一键断流切断节点上除运维接口外的所有流量,拒绝所有请求。 如服务管理控制果使用的集群版本不支持流量控制功能,可以关闭所有业务索引的读写。例如所有业务索引以log开头,在Kibana的“Dev Tools”页面执行以下命令: PUT log*/_settings
”和“date_histogram_agg”两个任务的结果,以下为该任务的测试结果对比。 Metric Task Unit 关闭聚合增强 开启聚合增强 关闭聚合增强 开启聚合增强 open/close 结论 测试轮次1 测试轮次2 测试轮次3 测试轮次1 测试轮次2 测试轮次3 均值
安装Logstash之前,需要先安装JDK。在Linux操作系统中,您可以执行yum -y install java-1.8.0命令直接安装1.8.0版本JDK。在Windows操作系统中,您可以访问JDK官网,下载符合操作系统版本的JDK,并根据指导安装。 安装完Logstash后,再根据如下步骤导入数据。安
设置合适的分片数 分片数建议设置为集群数据节点的倍数,且分片的大小控制在50GB以内。 关闭副本 数据写入与查询错峰执行,在数据写入时关闭数据副本,待数据写入完成后再开启副本。 Elasticsearch 7.x版本中关闭副本的命令如下: PUT {index}/_settings { "number_of_replicas":
管理Logstash集群的CA证书 当Logstash集群连接CSS服务的Elasticsearch集群时,可以跳过本文直接使用默认CA证书,当连接其他需要安全认证的数据源时,则需要参考文本配置自定义证书。 场景描述 当Logstash集群连接安全模式+HTTPS协议的Elast
由于节点shard数量超过最大值限制,Elasticsearch默认每个节点的shard数量是1000,如果shard数量超过这个值创建索引会报错。 解决方案 方案一:关闭或者删除不用的索引,减少shard数量。 方案二:修改节点的shard数量的限制,参数配置请参考max_shards_per_node。 PUT
日志。 单击“日志保存集群”处的集群名称,可以跳转到集群详情页面。 图3 日志采集 当需要关闭日志采集时,单击“日志采集开关”右侧的开关,在弹窗中单击“确定”,关闭日志采集。 日志采集关闭后,集群中已采集的日志不会被清空,仅当超过采集日志时设置的“保存周期”时才会被删除。 日志文件介绍
日志。 单击“日志保存集群”处的集群名称,可以跳转到集群详情页面。 图3 日志采集 当需要关闭日志采集时,单击“日志采集开关”右侧的开关,在弹窗中单击“确定”,关闭日志采集。 日志采集关闭后,集群中已采集的日志不会被清空,仅当超过采集日志时设置的“保存周期”时才会被删除。 日志文件介绍
segments.memory&s=segments.memory:desc 如果segment占用内存过高时,可以通过删除部分不用的索引、关闭索引或定期合并不再更新的索引等方式释放内存。 清理cache 在Kibana执行如下命令清理cache。 POST /_cache/clear
“公网访问”选择“自动绑定”,配置公网访问相关参数。 图1 创建集群时配置公网访问 表1 公网访问参数说明 参数 说明 带宽 设置公网访问的带宽。 访问控制开关 如果关闭访问控制开关,则允许任何IP通过公网IP访问集群。如果开启访问控制开关,则只允许白名单列表中的IP通过公网IP访问集群。 白名单 设置允许
“公网访问”选择“自动绑定”,配置公网访问相关参数。 图1 创建集群时配置公网访问 表1 公网访问参数说明 参数 说明 带宽 设置公网访问的带宽。 访问控制开关 如果关闭访问控制开关,则允许任何IP通过公网IP访问集群。如果开启访问控制开关,则只允许白名单列表中的IP通过公网IP访问集群。 白名单 设置允许
用户组。 将用户添加至用户组中,从而使用户拥有对应的CSS权限,一个用户组下面的用户具有相同的权限。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择云搜索服务CSS,进入CSS主界面,单击右上角“创建集群”,尝试购买CSS集群,如果无
单击操作列的“接受”或者“拒绝”可以修改节点的“状态”。如果对某个终端节点“拒绝”操作之后,其生成的内网域名将不能再访问到当前集群。 关闭终端节点服务 关闭终端节点后,将无法通过该节点的IP地址或内网域名访问集群。当关闭集群的终端节点后再重新打开,终端节点的IP地址或内网域名可能会发生变化,请谨慎操作。 登录云搜索服务管理控制台。
单击操作列的“接受”或者“拒绝”可以修改节点的“状态”。如果对某个终端节点“拒绝”操作之后,其生成的内网域名将不能再访问到当前集群。 关闭终端节点服务 关闭终端节点后,将无法通过该节点的IP地址或内网域名访问集群。当关闭集群的终端节点后再重新打开,终端节点的IP地址或内网域名可能会发生变化,请谨慎操作。 登录云搜索服务管理控制台。
目的端Elasticsearch集群启用SSL时,设置为true。 ssl_certificate_verification 否 设置为false时,启用SSL时将忽略验证服务器证书。 更多信息请参见Logstash官方文档Elasticsearch input plugin。 jdbc模板说明 从jdbc导
集群类型 “安全模式” “HTTPS访问” “公网访问” “Kibana公网访问” 非安全模式的集群 关闭 不涉及 不支持启用 不支持启用 安全模式+HTTP协议的集群 开启 关闭 不支持启用 支持启用 安全模式+HTTPS协议的集群 开启 开启 支持启用 支持启用 前提条件 已经