检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Elasticsearch集群数据迁移方案介绍 表1 Elasticsearch集群迁移方案 迁移场景 迁移工具 适用场景 使用限制 场景示例 华为云Elasticsearch集群间数据迁移 华为云Logstash 适用于低版本的华为云Elasticsearch集群到高版本的数据迁移。 适用于将多个华为云Ela
通过读写分离插件实现华为云Elasticsearch集群间数据迁移 通过CSS服务的读写分离插件可以实现华为云Elasticsearch集群间的数据迁移。 应用场景 7.6.2和7.10.2版本的华为云Elasticsearch集群默认安装了CSS服务的读写分离插件,通过配置读写
Elasticsearch集群数据迁移方案介绍 通过华为云Logstash实现Elasticsearch集群间数据迁移 通过备份与恢复实现华为云Elasticsearch集群间数据迁移 通过S3插件备份与恢复迁移自建Elasticsearch集群至华为云 通过备份与恢复迁移第三方Elasticsearch集群至华为云
和分析。 服务迁移上云:将自建的Elasticsearch服务迁移到云平台,以利用云服务的可扩展性、维护简便性和成本效益。 变更服务提供商:如果企业当前使用的是第三方Elasticsearch服务,但出于成本、性能或其他战略考虑,希望更换服务提供商至华为云。 方案架构 图1 迁移流程
集群也迁移至华为云。 方案架构 图1 迁移流程 通过备份与恢复迁移第三方Elasticsearch集群(源集群)至华为云Elasticsearch集群(目标集群)的迁移流程如图1所示。 备份第三方Elasticsearch数据到第三方共享存储仓库上。 通过华为云OMS迁移共享存储仓库上的数据到华为云OBS上。
个集群中。 方案架构 图1 迁移流程 通过备份与恢复实现华为云Elasticsearch集群间数据迁移的迁移流程如图1所示。 源Elasticsearch集群创建快照,将快照存储在OBS桶中。 目标Elasticsearch集群恢复快照,从OBS桶中恢复快照。 方案优势 易于操作
入门实践 云搜索服务为您提供各种业务场景、方案架构的最佳实践,方便您根据自身的业务场景选择合适的实践方案。 表1 常用最佳实践 实践场景 描述 数据迁移 通过华为云Logstash实现Elasticsearch集群间数据迁移 华为云Logstash是一款全托管的数据接入处理服务,
务。 服务迁移上云:企业可以将自建的Elasticsearch服务迁移至云平台,以利用云服务的弹性扩展、简化维护和成本效益。 变更服务提供商:如果企业当前使用的是第三方Elasticsearch服务,但出于成本、性能或其他战略考虑,希望更换服务提供商至华为云。 方案架构 图1 迁移流程
API兼容的存储服务中,例如华为云的对象存储服务(OBS)。S3插件提供了一种高效、灵活且安全的方式来备份Elasticsearch集群的数据。 通过S3插件实现自建Elasticsearch集群和华为云Elasticsearch集群之间的数据迁移,常用于以下场景: 服务迁移上云:将自建的Ela
API实现Elasticsearch集群间的数据迁移。以下是该方案适用的专业迁移场景概述: 集群合并:Reindex API能够将分散在多个Elasticsearch集群中的索引数据合并至单一集群,实现数据的集中管理和分析。 服务迁移上云:企业可以将自建的Elasticsearch服务迁移至云平台,以利用云服务的弹性扩展、简化维护和成本效益。
Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录CSS服务的操作事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。
Elasticsearch,以便在数据丢失或损坏时快速恢复。 方案架构 图1 RDS MySQL数据同步至Elasticsearch 使用Logstash将RDS MySQL数据同步至Elasticsearch的方案流程如图1所示。 在CSS服务的Logstash中通过默认插件l
数据的移动,还包括了确保业务连续性、提高效率和满足合规性要求等多个方面。 方案架构 图1 迁移Elasticsearch的Kibana可视化图表 迁移Elasticsearch的Kibana可视化图表的方案流程如图1所示。 通过Kibana的图表导出功能,在源Elasticsea
s/sec”即查询吞吐量QPS。 图2 测试结果示例 性能测试比较 以下测试方案只列出了对比项的参数值,未列举的参数建议保持默认值。 GRAPH类索引 百万规模的场景推荐使用GRAPH索引类型。 测试方案一:使用不同维度的数据集,在Top10召回率均达到99%的情况下,测试向量数
ticsearch默认每个节点的shard数量是1000,如果shard数量超过这个值创建索引会报错。 解决方案 方案一:关闭或者删除不用的索引,减少shard数量。 方案二:修改节点的shard数量的限制,参数配置请参考max_shards_per_node。 PUT _cluster/settings
步骤4:删除索引:当不再使用对应的索引数据时,可以删除对应索引节约资源。 准备工作 已注册华为账号并开通华为云,进行了实名认证,且在使用云搜索服务前检查账号状态,账号不能处于欠费或冻结状态。 如果您还没有华为账号,请参考以下步骤创建。 打开华为云网站。 在页面右上角单击“注册”,根据提示信息完成注册。 勾选服务条款,
节点、存储以及带宽的相关信息,以及套餐包的使用情况。 商用 套餐包详情 2 Kibana公网访问 云搜索服务支持安全模式的集群通过公网访问云上Kibana服务。 商用 Kibana公网访问 2020年3月 序号 功能名称 功能描述 阶段 相关文档 1 更改集群名称 云搜索服务支持集群创建成功后,可以修改集群名称。
Generation)的知识问答系统。针对NLP大模型存在的知识幻觉、知识更新不及时以及缺乏企业专业知识等问题,大模型+知识库是当前普遍采用的解决方案。 KooSearch基于RAG架构,支持导入非结构化或结构化的业务数据到知识库,帮助企业客户快速、一站式地搭建企业智能问答应用。通过搜索
创建Logstash配置文件 Logstash集群通过配置文件定义迁移方案,从不同的数据源(input)迁移数据到不同的目的端(output)。 约束限制 创建的配置文件大小不能超过100k。 Logstash集群允许最多配置50个配置文件,最多可以同时存在5个“状态”为“校验中”的配置文件。
体验。该方案可以用于以下场景: 电子商务:根据销量、用户评价、价格等因素对商品进行排序。 内容管理:根据阅读量、发布时间对文章或博客帖子进行排序。 金融服务:根据交易金额、频率或风险评分对交易记录进行排序。 客户支持:根据工单的紧急程度或打开时间对客户请求进行排序。 方案架构 通