检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
10.0版本说明 日期 特征描述 2023-06-01 云搜索服务支持Logstash集群。 Logstash集群支持通过配置中心修改logstash的配置文件,支持将redis、elasticsearch、jdbc等多种数据源导入到Elasticsearch集群。
使用Logstash迁移数据 Logstash使用流程 Logstash集群规划建议 创建Logstash集群 配置Logstash集群路由 配置Logstash迁移任务 扩缩容Logstash集群 管理Logstash集群 Logstash集群监控与日志管理 查看Logstash集群审计日志
通过Cerebro登录OpenSearch集群 CSS服务的Elasticsearch和OpenSearch集群默认提供Cerebro,无需安装部署,即可一键访问Cerebro,同时CSS服务的Elasticsearch和OpenSearch集群也完全兼容开源Cerebro。 通过CSS控制台的Cerebro访问集群
分词器或分片设置时,Reindex API可用于在迁移过程中重新配置索引结构。 方案架构 图1 迁移流程 通过Reindex API实现Elasticsearch集群间数据迁移的迁移流程如图1所示。 在目标集群配置Reindex白名单,连接源集群和目标集群。 通过Reindex
需要将已创建好的集群快照的“OBS桶”和“备份路径”参数配置为被删除集群存放快照信息的OBS桶和路径。 单击快照“操作”列的“恢复”,弹出“恢复”页面。 图1 选择恢复快照 在“恢复”页面配置集群的恢复参数。 表1 恢复配置 参数 说明 索引 指定需要进行恢复的索引名称,默认为空
分布极不均匀。 解决方案 如果问题是由分片数据量过大导致。 分片大小可以通过index模板下的“number_of_shards”参数进行配置。 模板创建完成后,再次新创建索引时生效,旧的索引不能调整。 如果问题是由分片数分布不均匀导致。 临时解决方案: 可以通过如下命令设置“routing
有6个shards,数据节点有3个,该配置值倾向于让a索引2、2、2平衡分配。 “balance.shard”:值越大,shard分配越倾向于使得所有分片(所有索引的)在节点上平衡,如索引a有2个shards,索引b有4个shards,该配置倾向于所有6个分片进行2、2、2平衡分配。
Management”,进入索引管理页面 。 单击“Create policy”,配置生命周期策略。 “Policy ID”:自定义策略名称。 “Define policy”:基于策略示例,配置自定义策略。 图1 配置策略 单击“Create”,完成策略的创建。 索引关联生命周期策略 生命
版本。 安装Logstash之前,需要先安装JDK。在Linux操作系统中,您可以执行yum -y install java-1.8.0命令直接安装1.8.0版本JDK。在Windows操作系统中,您可以访问JDK官网,下载符合操作系统版本的JDK,并根据指导安装。 安装完Log
如果您开通了“企业项目”,在创建集群时,可以给集群绑定一个企业项目。本示例选择默认企业项目“default”。 单击“下一步:网络配置”,设置集群的网络配置。 图3 配置网络 表4 网络配置参数说明 参数 说明 取值样例 虚拟私有云 指定集群节点使用的虚拟专用网络,实现不同业务的网络隔离。 说明:
如果您开通了“企业项目”,在创建集群时,可以给集群绑定一个企业项目。本示例选择默认企业项目“default”。 单击“下一步:网络配置”,设置集群的网络配置。 图3 配置网络 表4 网络配置参数说明 参数 说明 取值样例 虚拟私有云 指定集群节点使用的虚拟专用网络,实现不同业务的网络隔离。 说明:
ECS安全组或者配置ECS安全组的出入规则,允许集群所有安全组的访问。修改操作请参见配置安全组规则。 ECS的使用请参见自定义购买ECS。 接入集群 获取集群的内网访问地址。访问集群时,需要输入内网访问地址。 本文以内网IP地址方式访问集群为例,当使用其他网络配置访问集群时,仅访
ECS安全组或者配置ECS安全组的出入规则,允许集群所有安全组的访问。修改操作请参见配置安全组规则。 ECS的使用请参见自定义购买ECS。 接入集群 获取集群的内网访问地址。访问集群时,需要输入内网访问地址。 本文以内网IP地址方式访问集群为例,当使用其他网络配置访问集群时,仅访
版本。 安装Logstash之前,需要先安装JDK。在Linux操作系统中,您可以执行yum -y install java-1.8.0命令直接安装1.8.0版本JDK。在Windows操作系统中,您可以访问JDK官网,下载符合操作系统版本的JDK,并根据指导安装。 安装完Log
警信息。 图1 告警信息 单击“全部”,在“告警记录”弹窗中查看详细告警信息。 鼠标悬停在资源名称上,会显示告警情况。 单击“告警配置”,在告警配置页面根据页面提示设置告警规则。 如果预置的告警规则无法满足需求,单击“创建告警规则”可以新建告警规则。具体操作请参见云监控服务CES的创建告警规则和通知。
任务分类 操作 参考文档 使用 规划集群 在创建OpenSearch集群前,需要先完成集群规划。规划时,应考虑是否多可用区部署以提高集群的高可用性,合理配置集群的节点类型与节点存储规格,以及根据业务需求选择适当的集群版本和安全模式,同时注意索引分片的优化,以确保集群的稳定性和性能。
cluster_id 是 String 指定待操作的集群ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 name 是 String 配置文件名称。 响应参数 无 请求示例 POST /v1.0/6204a5bd270343b5885144cf9c8c158d/cluster
选择“切换可用区”页签。 在切换可用区页面,配置切换参数。 表1 切换可用区的参数说明 参数 描述 切换类型 可用区高可用改造:支持单AZ改造成两AZ、单AZ改造成三AZ或两AZ改造成三AZ。 高可用改造会尽可能挪动最小的节点重建集群,改造完成后,因未挪动节点的yml配置更新,需要重启集群才能生效。
驻”以后,将会在每个节点上面配置一个守护进程,当logstash服务出现故障的时候,会主动拉起并修复。“保持常驻”不适用于短期运行的业务,因为多次主动拉起logstash服务会导致数据迁移重复。 names 是 Array of strings 配置文件名称。 响应参数 无 请求示例
选择“切换可用区”页签。 在切换可用区页面,配置切换参数。 表1 切换可用区的参数说明 参数 描述 切换类型 可用区高可用改造:支持单AZ改造成两AZ、单AZ改造成三AZ或两AZ改造成三AZ。 高可用改造会尽可能挪动最小的节点重建集群,改造完成后,因未挪动节点的yml配置更新,需要重启集群才能生效。