云服务器内容精选
-
Elasticsearch集群迁移方案介绍 表1 Elasticsearch集群迁移方案 迁移场景 迁移工具 适用场景 使用限制 场景示例 华为云Elasticsearch集群间数据迁移 华为云Logstash 适用于低版本的华为云Elasticsearch集群到高版本的数据迁移。 适用于将多个华为云Elasticsearch集群的数据整合到一个Elasticsearch集群的场景。 在集群迁移期间,不要对源集群的索引进行增删改操作,避免迁移后源集群与目标集群数据不一致。 集群间需要保证网络连通。 如果源集群、Logstash和目标集群在不同VPC,则需要先打通VPC网络建立对等链接。具体操作请参见对等连接简介。 通过华为云Logstash实现Elasticsearch集群间数据迁移 备份与恢复 适用于同Region或跨Region、同账号或跨账号的华为云Elasticsearch集群间的数据迁移。 适用于低版本的华为云Elasticsearch集群到高版本的数据迁移。 适用于将多个华为云Elasticsearch集群的数据整合到一个Elasticsearch集群的场景。 目标集群的版本不能低于源集群的版本,版本兼容性分析请参见Snapshot version compatibility。 目标集群的节点数要大于源集群的节点数的一半,且不能小于源集群的shard副本数。 标集群的CPU、MEM和Disk配置不能低于源集群的配置。 通过备份与恢复实现华为云Elasticsearch集群间数据迁移 读写分离插件 适用于同Region或跨Region、同账号或跨账号的华为云Elasticsearch集群间的数据迁移。 适用于将多个华为云Elasticsearch集群的数据整合到一个Elasticsearch集群的场景。 集群间需要保证网络连通。 如果源集群和目标集群在不同VPC,则需要先打通VPC网络建立对等链接。具体操作请参见对等连接简介。 源集群和目标集群的版本必须一致,都是7.6.2或7.10.2版本。 通过读写分离插件实现华为云Elasticsearch集群间数据迁移 自建Elasticsearch集群迁移至华为云 华为云Logstash 适用于低版本的自建Elasticsearch集群到高版本华为云Elasticsearch集群的数据迁移。 适用于将多个自建Elasticsearch集群的数据整合到一个华为云Elasticsearch集群的场景。 适用于将自建的Elasticsearch服务迁移到华为云平台的场景。 在集群迁移期间,不要对源集群的索引进行增删改操作,避免迁移后源集群与目标集群数据不一致。 集群间需要保证网络连通。 可以通过给自建Elasticsearch集群配置公网访问打通网络。 通过华为云Logstash实现Elasticsearch集群间数据迁移 备份与恢复 适用于低版本的自建Elasticsearch集群到高版本华为云Elasticsearch集群的数据迁移。 适用于将多个自建Elasticsearch集群的数据整合到一个华为云Elasticsearch集群的场景。 适用于将自建的Elasticsearch服务迁移到华为云平台的场景。 目标集群的版本不能低于源集群的版本,版本兼容性分析请参见Snapshot version compatibility。 备份与恢复不支持动态增量数据同步,建议停止数据更新后再进行备份。 自建Elasticsearch集群需要配置公网访问权限才能备份快照到OBS。 通过S3插件备份与恢复迁移自建Elasticsearch集群至华为云 云数据迁移 CDM 华为云服务提供的云迁移工具,实现不同云服务间的集群迁移能力。 需要建立企业内部数据中心到华为云的VPN通道或专线。 集群迁移过程中,不能删除源集群的索引数据,否则迁移的数据可能出现异常。 Elasticsearch整库迁移到 云搜索服务 第三方Elasticsearch集群迁移至华为云 华为云Logstash 适用于Elasticsearch集群版本跨度较大的迁移场景,例如从6.X版本迁移至7.X版本。 适用于将多个第三方Elasticsearch集群的数据整合到一个华为云Elasticsearch集群的场景。 适用于将第三方Elasticsearch服务迁移到华为云平台的场景。 在集群迁移期间,不要对源集群的索引进行增删改操作,避免迁移后源集群与目标集群数据不一致。 集群间需要保证网络连通。 需要建立企业内部数据中心到华为云的VPN通道或专线。 通过华为云Logstash实现Elasticsearch集群间数据迁移 备份与恢复 适用于低版本的第三方Elasticsearch集群到高版本华为云Elasticsearch集群的数据迁移。 适用于将多个第三方Elasticsearch集群的数据整合到一个华为云Elasticsearch集群的场景。 适用于将第三方Elasticsearch服务迁移到华为云平台的场景。 目标集群的版本不能低于源集群的版本,版本兼容性分析请参见Snapshot version compatibility。 备份与恢复不支持动态增量数据同步,建议停止数据更新后再进行备份。 第三方存储仓库要配置公网访问才能迁移快照数据。 通过备份与恢复迁移第三方Elasticsearch集群至华为云 云数据迁移 CDM 华为云服务提供的云迁移工具,实现不同云服务间的集群迁移能力。 需要建立企业内部数据中心到华为云的VPN通道或专线。 集群迁移过程中,不能删除源集群的索引数据,否则迁移的数据可能出现异常。 Elasticsearch整库迁移到 云搜索 服务 华为云Elasticsearch集群迁移至OpenSearch集群 跨引擎升级 适用于 CSS 服务的Elasticsearch 7.10.2升级至OpenSearch 1.3.6。 建议在业务低峰期进行升级操作,避免影响业务。 待升级的Elasticsearch集群不能存在正在进行中的任务。 升级Elasticsearch集群版本 数据库数据迁移至Elasticsearch集群 数据复制服务 DRS 适用于将MySQL数据库中的数据同步到Elasticsearch集群中。一般用于集群间的数据增量迁移,在数据同步后集群随时可割接,较其他增量迁移更加方便灵活。 不同数据库来源的迁移方式和使用约束请参见相关文档。 使用DRS从数据库导入数据至Elasticsearch 父主题: ELasticsearch数据迁移
-
方案架构 图1 迁移流程 通过 CS S服务的读写分离插件迁移华为云Elasticsearch集群(源集群)至华为云Elasticsearch(目标集群)的数据迁移流程如图1所示。 通过读写分离插件建立源集群和目标集群的连接。 在目标集群配置索引自动同步,实现源集群的数据自动同步到目标集群。同步周期默认是30秒,支持修改。 查询自动同步状态,确认集群数据是否迁移完成。 更多关于CSS服务的读写分离功能的介绍请参见配置Elasticsearch集群读写分离。
-
应用场景 7.6.2和7.10.2版本的华为云Elasticsearch集群默认安装了CSS服务的读写分离插件,通过配置读写分离可以实现Elasticsearch集群间的索引数据近实时同步。 通过读写分离插件实现华为云Elasticsearch集群间数据迁移仅适用于源集群和目标集群都是CSS服务的集群。常用于以下场景: 跨地域或跨账号迁移:将其他Region或账号下的Elasticsearch集群迁移到当前集群中。 集群合并:将两个Elasticsearch集群的索引数据合并到一个集群中。
-
方案优势 高版本兼容性:适用于不同版本的Elasticsearch集群迁移。 高效的数据处理能力:Logstash支持批量读写操作,可以大幅度提高数据迁移的效率。 并发同步技术:利用slice并发同步技术,可以提高数据迁移的速度和性能,尤其是在处理大规模数据时。 配置简单:华为云Logstash的配置相对简单直观,通过配置文件即可实现数据的输入、处理和输出。 强大的数据处理功能:Logstash内置了丰富的过滤器,可以在迁移过程中对数据进行清洗、转换和丰富。 灵活的迁移策略:根据业务需求,可以灵活选择全量迁移或增量迁移,优化存储使用和迁移时间。
-
操作步骤 获取Elasticsearch集群信息 准备迁移环境:创建ECS并准备必要的迁移工具和脚本。 创建Logstash集群:创建一个Logstash集群用于迁移数据。 验证集群间的网络连通性:验证Logstash和源Elasticsearch集群的连通性。 使用Logstash迁移集群 在集群迁移初期或需要确保数据完整性的场景,推荐使用Logstash全量迁移集群数据。 在需要持续同步数据或对数据实时性有较高要求的场景,推荐使用Logstash增量迁移集群数据。 释放Logstash集群:当集群迁移完成后,请及时释放Logstash集群。
-
约束限制 集群迁移过程中,源集群的索引数据不能增删改,否则会导致迁移后的源集群数据和目标集群数据内容不一致。 集群间需要保证网络连通。 如果源集群、Logstash和目标集群在不同VPC,则需要先打通VPC网络建立对等链接。具体操作请参见对等连接简介。 如果是自建Elasticsearch集群迁移至华为云,则可以通过给自建Elasticsearch集群配置公网访问打通网络。 如果是第三方Elasticsearch集群迁移至华为云,则需要建立企业内部数据中心到华为云的VPN通道或专线。
-
方案架构 图1 迁移流程 通过华为云Logstash实现Elasticsearch集群间数据迁移的迁移流程如图1所示。 输入(Input):华为云Logstash接收来自华为云Elasticsearch、自建Elasticsearch或第三方Elasticsearch的数据。 华为云Elasticsearch、自建Elasticsearch或第三方Elasticsearch数据迁移到华为云Elasticsearch的操作步骤相同,只是获取源集群的访问地址有差异,具体请参见获取Elasticsearch集群信息。 过滤(Filter):华为云Logstash对数据进行清洗和转换。 输出(Output):华为云Logstash将数据输出到目标设备,如华为云Elasticsearch。 根据业务需求,可以选择全量数据迁移或增量数据迁移。 全量数据迁移:使用Logstash进行全量数据迁移,适用于迁移初期或需要确保数据完整性的场景。 增量数据迁移:通过Logstash配置增量查询,可以只迁移有增量字段的索引数据。此方法适用于需要持续同步数据或对数据实时性有较高要求的场景。
-
应用场景 华为云Logstash是一款全托管的数据接入处理服务,兼容开源Logstash的能力,支持用于Elasticsearch集群间数据迁移。 通过华为云Logstash可以实现华为云Elasticsearch、自建Elasticsearch或第三方Elasticsearch迁移至华为云Elasticsearch,该方案常用于以下场景: 跨版本迁移:利用Logstash的兼容性和灵活性,实现不同版本间的数据迁移,确保数据在新版本中的可用性和一致性。适用于Elasticsearch集群版本跨度较大的迁移场景,例如从6.X版本迁移至7.X版本。 集群合并:使用Logstash进行数据迁移,将多个Elasticsearch集群的数据整合到一个Elasticsearch集群中,实现多个Elasticsearch数据的统一管理和分析。 服务迁移上云:将自建的Elasticsearch服务迁移到云平台,以利用云服务的可扩展性、维护简便性和成本效益。 变更服务提供商:如果企业当前使用的是第三方Elasticsearch服务,但出于成本、性能或其他战略考虑,希望更换服务提供商至华为云。
-
启动检测任务 登录云搜索服务管理控制台。 在集群管理页面,单击需要进行智能运维的集群名称,跳转至该集群基本信息页面。 左侧菜单栏选择“智能运维”。 在智能运维页面,单击左上角的“启动检测”。 在对话框中填写检测任务的基本信息,单击“确定”。 表1 配置检测任务 参数 说明 名称 检测任务的名称。 描述 检测任务的简短描述。 SMN 主题 当勾选“任务完成后发送SMN告警”时,需要选择当前账号已创建的SMN主题。 告警灵敏度 当勾选“任务完成后发送SMN告警”时,需要选择告警灵敏度。 当检测到的风险项存在大于等于此告警敏感度的条目,则发送SMN告警消息,消息内容则包含所有风险项。 当检测任务状态变成“完成”时,表示智能检测结束,可以查看集群风险项。
-
场景描述 集群的智能运维支持以下功能: 启动检测任务:通过启动检测任务,触发系统智能诊断集群的健康状况。 查看集群风险项:检测任务完成后,可以查看集群存在的风险项详情,根据风险建议及时处理集群存在的风险。 删除检测任务:当不需要历史所创建的检测任务时,可删除检测任务。删除检测任务后,系统将删除检测任务所对应的所有诊断信息。 智能运维的检查项包含如下项目。 检查当前时刻集群的健康状态,其中red表示有主分片未分配,yellow表示有副分片未分配,green表示所有分片均已分配。 检测集群节点数与AZ(可用区)数,判定Elasticsearch分布式集群的高可用性。 检测集群索引是否开启副本,未设置副本的索引在节点发生故障后可能导致索引不可用,本地盘集群未设置副本会有数据丢失的风险。 检测集群是否存在kibana索引冲突。 检测节点磁盘用量百分比,节点磁盘存储过大可能导致节点无法分配新索引分片并影响集群性能。 检测集群数据节点/冷数据节点的存储用量是否均衡,不均衡的存储用量分布可能导致集群负载不均,读写延迟增加。 连续5分钟检测当前集群是否有节点脱离或不可用。 检测节点分片数量是否过多,单节点分片数量过多会消耗大量节点资源,读写请求时延增加,集群元数据更新缓慢等。 检测所有分片大小,分片太大可能导致查询性能下降,节点内存消耗增加,影响扩缩容以及节点故障时分片的恢复速率等。 检测当前集群是否存在可升级的版本。 检测集群7天内是否有快照备份失败,或7天内无快照备份记录。
-
查看集群风险项 当检测任务完成时,可以查看检测结果。 登录云搜索服务管理控制台。 在集群管理页面,单击集群名称,跳转至该集群基本信息页面。 左侧菜单栏选择“智能运维”。 在智能运维列表页面,选择已启动的检测任务。单击下方的,可查看当前检测任务的“创建时间”、“摘要”、“ID”以及检测任务所发现的“风险项”。 单击风险项左侧,可查看风险项详情,包括检测项、风险描述、风险建议。 您可以根据风险建议及时处理集群所存在的风险。 图1 风险项 单击智能运维列表操作列的“导出风险项”,支持下载检测结果。
-
场景描述 云搜索服务默认安装了开源的OpenSearch告警插件(opensearch-alerting),用于提供数据满足特定条件时的通知功能。该插件包含Alerts、Monitors、Destinations三个组件,CSS服务在Destinations组件中适配了 消息通知 服务SMN,且仅支持通过SMN服务作为目的端(Destination)进行告警消息发送。 本文主要介绍如何在OpenSearch Dashboards中设置OpenSearch集群的SMN告警功能。 开源OpenSearch告警插件OpenSearch Alerting的官方指导文档请参见:Alerting - OpenSearch Documentation 。
-
授权使用SMN服务 通过CSS服务的管理员账号登录云搜索服务管理控制台。 在左侧导航栏选择“服务授权”。 在服务授权页面,单击“创建SMN委托”,在弹窗中确认委托创建成功。 如果已经创建过委托,则右上角会提示“css_smn_agency exist, no need to created.”。 如果无创建权限,则右上角会提示“当前用户没有操作权限,请通过 IAM 检查账户权限!”,请确认该管理员账号是否配置了IAM使用权限。
-
场景描述 表1 Logstash集群的扩容场景 场景 描述 相关文档 增加节点数量 只支持扩容集群的“节点数量”。适用于如下场景: 当需要确保数据的持续可用性时,扩容Logstash集群的节点数量可以增加系统的容错能力。 当现有Logstash节点处理能力达到极限,无法满足日益增长的数据量时,扩容可以提供更多的处理能力,保证数据流的顺畅处理。 当Logstash集群需要执行更复杂的数据处理逻辑,如数据丰富、转换等,扩容可以提供更多的计算资源来处理这些任务 。 扩容节点数量 升级节点规格 只支持变更集群的“节点规格”。变更规格过程中,会依次对节点进行关机,完成更改后再依次开机,是一个滚动的变更过程。一般用于小规格变更为大规格,常用于如下场景: 当现有的Logstash节点处理能力达到瓶颈,无法满足日益增长的数据量时,升级节点规格可以提供更多的计算资源和存储空间,从而提高整体的处理性能。 在流量高峰期,为了及时处理增加的数据,可以通过升级Logstash节点规格来提高处理能力。 变更节点规格
-
约束限制 重启过程中集群不可用,请谨慎操作。 工作中状态的集群,重启过程会主动停止Logstash进程。 当管道列表“是否保持常驻”为“否”时,重启过程中会将所有“运行中”的管道状态置为“已停止”。 当管道列表“是否保持常驻”为“是”时,重启过程中会触发Logstash进程恢复机制,将工作中的管道状态置为“恢复中”,如果十分钟内重新拉起Logstash进程,管道状态恢复为“工作中”,否则置为“失败”状态。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格