检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ElasticSearch 5.5、6.2、6.5、7.1、7.6、7.9、7.10版本 OpenSearch 1.3.6版本 准备工作 确认源数据。 例如,源数据为如下json格式的文件。 Elasticsearch版本<7.x的数据 {"index": {"_index":"my_store","_type":"products"}}
ElasticSearch 5.5、6.2、6.5、7.1、7.6、7.9、7.10版本 OpenSearch 1.3.6版本 准备工作 确认源数据。 例如,源数据为如下json格式的文件。 Elasticsearch版本<7.x的数据 {"index": {"_index":"my_store","_type":"products"}}
实时监控用户行为和交易数据。 内容管理系统:对大量文档和内容进行高效检索,支持复杂的查询和数据分析。 金融服务:实时监控交易数据,进行风险分析和欺诈检测。 社交媒体分析:对用户生成的内容进行情感分析,趋势和影响力评估。 客户关系管理:快速检索客户信息,分析客户行为,提供定制化服务。
缩容过程会涉及数据迁移,将要下线的节点数据迁移到其他节点上,数据迁移的超时阈值为5小时。当超过5小时数据还未迁移完成,那么缩容会失败。建议在集群数据量较大的情况下,分多次进行缩容。 要确保缩容之后的磁盘使用量小于80%,且集群每个节点类型中每个AZ的节点数至少为1。 关于跨AZ的集群,在不同AZ中同类型节点个数的差值要小于等于1。
缩容过程会涉及数据迁移,将要下线的节点数据迁移到其他节点上,数据迁移的超时阈值为5小时。当超过5小时数据还未迁移完成,那么缩容会失败。建议在集群数据量较大的情况下,分多次进行缩容。 要确保缩容之后的磁盘使用量小于80%,且集群每个节点类型中每个AZ的节点数至少为1。 关于跨AZ的集群,在不同AZ中同类型节点个数的差值要小于等于1。
公网访问配置完成后,集群将会获得一个“公网访问”的IP地址,用户可以通过公网IP地址和端口接入集群。 例如,启用HTTPS的安全集群的公网访问地址为“10.62.179.32”,端口为“9200”,则执行Curl命令查看集群中的索引信息。 curl -u username:password -k 'https://10
公网访问配置完成后,集群将会获得一个“公网访问”的IP地址,用户可以通过公网IP地址和端口接入集群。 例如,启用HTTPS的安全集群的公网访问地址为“10.62.179.32”,端口为“9200”,则执行Curl命令查看集群中的索引信息。 curl -u username:password -k 'https://10
缩容Logstash集群 当集群有充足的能力处理当前数据时,为节省资源可以缩容Logstash集群。 缩容Logstash集群是通过随机下线节点减少集群的“节点数量”,减少集群占用的资源。 前提条件 集群处于“可用”状态,且无正在进行的任务。 约束限制 缩容是通过下线节点减少节点
查看cpu和heap指标,如果这两个指标过高则说明集群当前压力较大,客户端可以适当减少大请求发送,等待集群压力下降。 查看shards是否合理,官方建议单个shard大小为20-40GB,建议不要超过50GB;单个节点上的同一索引shard数不要超过5个。 方法2:Kibana工具 登录云搜索服务管理控制台。 左侧导航栏,选择“集群管理
例 POST /stconvert/_doc/1 { "desc": "國際電視臺" } 当返回结果信息中“failed”字段的值为“0”时,表示数据导入成功。 在Console界面,执行如下命令,搜索关键字“国际”,并查看搜索结果。 GET /stconvert/_search
例 POST /stconvert/_doc/1 { "desc": "國際電視臺" } 当返回结果信息中“failed”字段的值为“0”时,表示数据导入成功。 在Console界面,执行如下命令,搜索关键字“国际”,并查看搜索结果。 GET /stconvert/_search
主词词库是用户自定义的词库,初始状态为空。默认选择“不更新”表示不配置该词库。 当需要添加自定义的主词词库时,单击“更新”,选择txt格式的词库文件。 当无需添加自定义的主词词库时,单击“不使用此词库”,删除词库。 停词词库 停词词库是用户自定义的词库,初始状态为空。默认选择“不更新”表示不配置该词库。
主词词库是用户自定义的词库,初始状态为空。默认选择“不更新”表示不配置该词库。 当需要添加自定义的主词词库时,单击“更新”,选择txt格式的词库文件。 当无需添加自定义的主词词库时,单击“不使用此词库”,删除词库。 停词词库 停词词库是用户自定义的词库,初始状态为空。默认选择“不更新”表示不配置该词库。
已准备好存有数据的MySQL数据库,本案例以云数据库的RDS for MySQL实例为例,具体操作请参见购买RDS for MySQL实例。 已准备好用于同步数据的Logstash集群,具体操作请参见创建Logstash集群。本文以7.10.0版本的Logstash集群为例。 已准备好Elasticsearch集群,
未同步删除,这时快照列表中自动创建的快照可以手动删除。如果未手动删除,且之后用户又重新开启了自动创建快照功能,那么此集群中所有“快照类型”为自动创建的快照(包含开启自动创建快照功能前已存在的自动创建的快照)都无法手动删除,只会被系统自动删除。 快照信息删除后,数据将无法恢复,请谨慎操作。
未同步删除,这时快照列表中自动创建的快照可以手动删除。如果未手动删除,且之后用户又重新开启了自动创建快照功能,那么此集群中所有“快照类型”为自动创建的快照(包含开启自动创建快照功能前已存在的自动创建的快照)都无法手动删除,只会被系统自动删除。 快照信息删除后,数据将无法恢复,请谨慎操作。
的快照信息。如果没有显示,可再次编辑快照基础配置,修改备份路径为其他再改回正确备份路径后保存,再次重试。 如果要在其他已创建好的集群上恢复被删集群的数据,也需要将已创建好的集群快照的“OBS桶”和“备份路径”参数配置为被删除集群存放快照信息的OBS桶和路径。 单击快照“操作”列的“恢复”,弹出“恢复”页面。
在Kibana中使用GET /_cat/indices命令,可以查询集群中所有索引的名称。 快照描述 描述快照信息。 在快照管理列表中,当“快照状态”为“可用”时表示快照创建成功。 快照创建成功后,在快照管理列表,单击快照操作列的“恢复”,配置恢复参数将数据恢复至目标集群“Es-2”。 表3
图2 查看冷数据节点 是,集群存在冷数据节点,则执行下一步。 否,集群不存在冷数据节点,则不支持切换集群的冷热数据。如果想将历史数据定义为冷数据,减低存储成本,提升搜索效率,可以使用存算分离功能,具体操作请参见配置Elasticsearch集群存算分离。 单击集群操作列“Kibana”,登录OpenSearch
图2 查看冷数据节点 是,集群存在冷数据节点,则执行下一步。 否,集群不存在冷数据节点,则不支持切换集群的冷热数据。如果想将历史数据定义为冷数据,减低存储成本,提升搜索效率,可以使用存算分离功能,具体操作请参见配置Elasticsearch集群存算分离。 单击集群操作列“Kibana”,登录Kibana页面。