检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Elasticsearch集群数据迁移方案介绍 表1 Elasticsearch集群迁移方案 迁移场景 迁移工具 适用场景 使用限制 场景示例 华为云Elasticsearch集群间数据迁移 华为云Logstash 适用于低版本的华为云Elasticsearch集群到高版本的数据迁移。
入门实践 云搜索服务为您提供各种业务场景、方案架构的最佳实践,方便您根据自身的业务场景选择合适的实践方案。 表1 常用最佳实践 实践场景 描述 数据迁移 通过华为云Logstash实现Elasticsearch集群间数据迁移 华为云Logstash是一款全托管的数据接入处理服务,
Generation)的知识问答系统。针对NLP大模型存在的知识幻觉、知识更新不及时以及缺乏企业专业知识等问题,大模型+知识库是当前普遍采用的解决方案。 KooSearch基于RAG架构,支持导入非结构化或结构化的业务数据到知识库,帮助企业客户快速、一站式地搭建企业智能问答应用。通过搜索
审计与日志 审计 云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录CSS服务的操作事件用于审计。
ticsearch默认每个节点的shard数量是1000,如果shard数量超过这个值创建索引会报错。 解决方案 方案一:关闭或者删除不用的索引,减少shard数量。 方案二:修改节点的shard数量的限制,参数配置请参考max_shards_per_node。 PUT _cluster/settings
创建Logstash配置文件 Logstash集群通过配置文件定义迁移方案,从不同的数据源(input)迁移数据到不同的目的端(output)。 约束限制 创建的配置文件大小不能超过100k。 Logstash集群允许最多配置50个配置文件,最多可以同时存在5个“状态”为“校验中”的配置文件。
的可视化查询与分析。该方案可以用于以下场景: 日志管理:集中管理应用程序和系统日志,快速定位问题。 安全监控:检测和响应安全威胁,进行入侵检测和异常行为分析。 业务分析:分析用户行为,优化产品和服务。 性能监控:监控系统和应用程序性能,实时发现瓶颈。 方案架构 ELKB(Elas
es-head插件连接Elasticsearch集群报跨域错误 解决方案 在安装es-head的云主机上测试网络是否连通。 网络连通后,登录云搜索服务管理控制台。 在“集群管理”页面,单击需要修改参数配置的集群名称,进入集群基本信息页面。 选择“参数配置”,单击“编辑”,将“http
重启Elasticsearch集群 集群停止工作时,您可通过重启集群恢复运行。 场景描述 重启集群支持快速重启和滚动重启,两种方案的使用说明请参见表1。建议在业务空闲时执行重启操作。 表1 重启方案 方案 使用说明 相关文档 快速重启 所有集群都支持。 当选择“节点类型”快速重启时,所选类型的所有节点会一起重启。
Elasticsearch集群报错unassigned shards all indices,集群状态为red。 原因分析 当前集群存在未分配的shard。 解决方案 在Kibana的“Dev Tools”页面,执行如下命令: POST /_cluster/reroute?retry_failed=true
s/sec”即查询吞吐量QPS。 图2 测试结果示例 性能测试比较 以下测试方案只列出了对比项的参数值,未列举的参数建议保持默认值。 GRAPH类索引 百万规模的场景推荐使用GRAPH索引类型。 测试方案一:使用不同维度的数据集,在Top10召回率均达到99%的情况下,测试向量数
重启OpenSearch集群 集群停止工作时,您可通过重启集群恢复运行。 场景描述 重启集群支持快速重启和滚动重启,两种方案的使用说明请参见表1。建议在业务空闲时执行重启操作。 表1 重启方案 方案 使用说明 相关文档 快速重启 所有集群都支持。 当选择“节点类型”快速重启时,所选类型的所有节点会一起重启。
单击创建pattern无反应,无法创建pattern。 问题原因 检查磁盘是否太满,导致Kibana索引为只读状态。 检查是否有多个Kibana索引。 解决方案 执行以下命令删除不必要的索引数据,释放磁盘空间。 PUT .kibana/_settings { "index": { "blocks":
单节点集群打开Cerebro界面显示告警 原因分析 单节点集群索引默认有副本,但是副本无法下发请求,所以显示告警。 解决方案 在Kibana的“Dev Tools”页面,执行以下命令将索引副本数量修改为“0”。 PUT _all/_settings { "index" : {
0011错误 原因分析 当前集群未设置副本数,后台拦截了更改规格的请求。需要设置好副本数,再进行更改规格操作,否则会有分片丢失的风险。 解决方案 设置副本参数: PUT /index/_settings { "number_of_replicas" : 1 //表示需要设置的副本数
Elasticsearch,以便在数据丢失或损坏时快速恢复。 方案架构 图1 RDS MySQL数据同步至Elasticsearch 使用Logstash将RDS MySQL数据同步至Elasticsearch的方案流程如图1所示。 在CSS服务的Logstash中通过默认插件l
体验。该方案可以用于以下场景: 电子商务:根据销量、用户评价、价格等因素对商品进行排序。 内容管理:根据阅读量、发布时间对文章或博客帖子进行排序。 金融服务:根据交易金额、频率或风险评分对交易记录进行排序。 客户支持:根据工单的紧急程度或打开时间对客户请求进行排序。 方案架构 通
向CSS集群索引中插入数据失败,报错如下: 问题分析 当磁盘的使用率超过95%时,Elasticsearch为了防止节点耗尽磁盘空间,自动将索引设置为只读模式。 解决方案 新版本(7.10.2之后)集群磁盘使用率下降后会自动关闭只读模式,只需清理或扩容磁盘。 旧版本需要手动操作,kibana执行如下命令: PUT
API可用于在迁移过程中重新配置索引结构。 方案架构 图1 迁移流程 通过Reindex API实现Elasticsearch集群间数据迁移的迁移流程如图1所示。 在目标集群配置Reindex白名单,连接源集群和目标集群。 通过Reindex API,将源集群的索引数据迁移至目标集群。 方案优势 操作简单:Reindex
Elasticsearch集群某一节点分配不到shard 解决方案 使用GET _cluster/allocation/explain?pretty 查看未分配shard。 在console上,选择“cerebro > more > cluster settings ”-,在左上角输入“allocation