检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Logstash配置文件 Logstash集群通过配置文件定义迁移方案,从不同的数据源(input)迁移数据到不同的目的端(output)。 约束限制 创建的配置文件大小不能超过100k。 Logstash集群允许最多配置50个配置文件,最多可以同时存在5个“状态”为“校验中”的配置文件。
数据中心到华为云的VPN通道或专线。 确认集群的索引已开启“_source”。 集群索引的“_source”默认是开启的。执行命令GET {index}/_search,当返回的索引信息里有“_source”信息时表示已开启。 操作步骤 获取Elasticsearch集群信息 (
topword.dic获取词库。 词库文件必须是UTF-8无BOM格式编码的文本文件,一行一个分词,Extra停词文件最大支持100M。 约束限制 自定义词库功能上线之前(即2018年3月10日之前)创建的集群,无法使用自定义词库功能。 自定义词库一般用于中文分词,如果用于英文分词,会按照除“#&+-
资源,从而使CSS集群能够发送SMN消息通知。有关OpenDistro告警插件的官方文档,请参见OpenDistro-Monitors。 约束与限制 仅Elasticsearch 7.1.1、Elasticsearch 7.6.2和Elasticsearch 7.10.2集群默认
索引名称是“monitoring-eye-css-[yyyy-mm-dd]”)。默认情况下,这些监控索引将保留一周时间,过期会直接删除。 约束限制 仅Elasticsearch 7.6.2和Elasticsearch 7.10.2集群支持索引监控。 索引监控不会监控以“monit
topword.dic获取词库。 词库文件必须是UTF-8无BOM格式编码的文本文件,一行一个分词,Extra停词文件最大支持100M。 约束限制 自定义词库功能上线之前(即2018年3月10日之前)创建的集群,无法使用自定义词库功能。 自定义词库一般用于中文分词,如果用于英文分词,会按照除“#&+-
减少系统故障对业务的影响。 数据整合能力:在多集群环境中,迁移Kibana图表有助于实现数据的集中管理和分析,提高数据整合的效率和效果。 约束限制 源Elasticsearch集群和目标Elasticsearch集群的版本要相近,否则可能迁移异常。如果迁移过程中出现图表不兼容的报
V3作为一款强大的开源大语言模型,特别适合用于构建RAG系统。 方案优势 强大的知识检索与生成能力 DeepSeek V3拥有671B总参数和37B激活参数,经过14.8T高质量token的预训练,在知识类任务、长文本处理、代码生成和数学推理等多个领域表现突出。这使得RAG系统能够从大规模
在OpenSearch Dashboards上使用开源OpenSearch API导入数据:使用POST命令导入数据。 在ECS服务器上使用开源OpenSearch API导入数据:使用Curl命令导入数据。 在OpenSearch Dashboards上使用开源OpenSearch API导入数据
.put("index.vector", true) // 开启向量特性 .put("index.number_of_shards", 1) // 索引分片数, 根据实际需求设置 .put("index
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目ID。获取方法请参见获取项目ID和名称。 约束限制: 不涉及 取值范围: 获取方法请参见获取项目ID和名称。 默认取值: 不涉及 请求参数 无 响应参数 状态码: 200 表2 响应Body参数
"number_of_shards": "30", //指定index分配的shard数,可以根据一个shard 30GB左右的空间来分配 "routing.allocation.total_shards_per_node": 3 //指定一个节点最多容纳的shards数
当OpenSearch集群的数据面业务变化,需要动态调整集群的节点规格和磁盘类型时,可以参考本文变更规格。 场景描述 表1 变更规格场景 场景 描述 约束限制 升级节点规格 基于某一节点类型变更集群的“节点规格”。变更规格过程中,会依次对节点进行关机,完成更改后再依次开机,是一个滚动的变更过程。
earch集群的数据面业务变化,需要动态调整集群的节点规格和磁盘类型时,可以参考本文变更规格。 场景描述 表1 变更规格场景 场景 描述 约束限制 升级节点规格 基于某一节点类型变更集群的“节点规格”。变更规格过程中,会依次对节点进行关机,完成更改后再依次开机,是一个滚动的变更过程。
.put("index.vector", true) // 开启向量特性 .put("index.number_of_shards", 1) // 索引分片数, 根据实际需求设置 .put("index
Dashboards查询 登录云搜索服务控制台。 在集群管理列表,选择需要查看插件的集群,单击操作列的“Kibana”登录Kibana或OpenSearch Dashboards界面。 非安全模式的集群:将直接进入Kibana或OpenSearch Dashboards操作界面。
Kibana公网访问功能支持通过接口进行开启、关闭、修改等操作。 Logstash接口 可以通过接口创建Logstash类型集群的配置文件、启动pipeline迁移数据等操作。 日志管理接口 可以通过日志管理接口进行开启、关闭、修改、查询等操作。 公网访问接口 可以通过公网访问接口进行开启、关闭、修改等操作。
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目ID。获取方法请参见获取项目ID和名称。 约束限制: 不涉及 取值范围: 获取方法请参见获取项目ID和名称。 默认取值: 不涉及。 resource_type 是 String 参数解释:
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector
分片数建议设置为集群数据节点的倍数,且分片的大小控制在50GB以内。 关闭副本 数据写入与查询错峰执行,在数据写入时关闭数据副本,待数据写入完成后再开启副本。 Elasticsearch 7.x版本中关闭副本的命令如下: PUT {index}/_settings { "number_of_replicas":