云服务器内容精选
-
应用场景 CSS 服务的Logstash集群默认安装了logstash-input-jdbc插件，该插件为Logstash提供了从关系型数据库RDS MySQL中导入和处理数据的能力，通过配置Logstash配置文件，定义JDBC输入和Elasticsearch输出，实现定期同步数据库中的数据到Elasticsearch。该方案可以用于以下场景： 数据实时更新与同步：将RDS MySQL中的数据实时同步到Elasticsearch，以便利用Elasticsearch强大的搜索和分析能力。 日志分析 与检索：将MySQL中的日志数据同步到Elasticsearch，进行快速检索和分析。 应用性能监控：将应用性能数据存储在MySQL中，通过Logstash同步到Elasticsearch，进行实时监控和性能分析。 数据备份与恢复：通过Logstash将MySQL数据备份到Elasticsearch，以便在数据丢失或损坏时快速恢复。
-
方案架构 图1 RDS MySQL数据同步至Elasticsearch 使用Logstash将RDS MySQL数据同步至Elasticsearch的方案流程如图1所示。 在 CS S服务的Logstash中通过默认插件logstash-input-jdbc，在Logstash配置文件中配置数据库JDBC输入和Elasticsearch输出，将全量或增量RDS MySQL数据实时同步至Elasticsearch。
-
前提条件 已准备好存有数据的MySQL数据库，本案例以云数据库的RDS for MySQ L实例 为例，具体操作请参见购买RDS for MySQL实例。 已准备好用于同步数据的Logstash集群，具体操作请参见xxx。本文以7.10.0版本的Logstash集群为例。 已准备好Elasticsearch集群，具体操作请参见。本文以7.10.2版本的Elasticsearch集群为例。 以上三者在同一VPC下面。 当使用的是自建或第三方MySQL数据库时，则需要确认数据库驱动是否是MariaDB驱动。 是，则可以直接开始配置数据同步。 否，则需要参考常见问题：MySQL驱动不兼容怎么办？上传与RDS版本兼容的SQL JDBC驱动到Logstash集群中。
-
约束限制 Elasticsearch中的_id字段必须与MySQL中的id字段相同。 这是为了确保当MySQL中的记录写入Elasticsearch时，同步任务可在MySQL记录与Elasticsearch索引之间建立一个直接映射的关系。例如，当MySQL中更新了某条记录时，同步任务会覆盖Elasticsearch中与更新记录具有相同ID的索引。 当MySQL中插入或者更新数据时，对应记录必须有一个包含更新或插入时间的字段。 Logstash在每次轮询MySQL时，会记录最后读取记录的时间戳，并在下一次读取时只获取该时间戳之后更新或插入的符合条件的记录。 确保MySQL数据库、Logstash集群和Elasticsearch集群在同一时区，否则当同步与时间相关的数据时，同步前后的数据可能存在时区差。
-
方案优势 易于操作和管理：在CSS服务控制台使用集群快照功能实现备份恢复，操作简单，且易于管理和自动化。 适用于大规模数据迁移：快照备份适用于数据量大的场景，特别是当数据量达到GB、TB甚至PB级别时。 支持跨地域和跨账号迁移：通过结合OBS的跨区域复制功能，可以实现跨地域和跨账号的数据迁移。 恢复过程可控：在恢复数据时，可以选择恢复特定索引或全部索引，并且可以指定恢复到特定的集群状态。 迁移时长可控：基于迁移时长评估公式可以配置数据迁移速率，理想状态下等于文件复制速率。
-
迁移时长 迁移过程的耗时长短依赖于源集群和目标集群的节点个数或索引shard个数。迁移过程分为备份阶段和恢复阶段，备份阶段耗时由源集群决定，恢复阶段耗时由目标集群决定。迁移总时长的评估公式如下： 当索引shard个数大于节点个数时 总时长(S)=（800G÷40MB÷源集群节点个数+800G÷40MB÷目的集群节点个数）x索引个数 当索引shard个数小于节点个数时 总时长(S)=（800G÷40MB÷源集群索引shard个数+800G÷40MB÷目的集群索引shard个数）x索引个数 评估公式是基于理想状态下（即单节点以最快速度40MB/s传输）的迁移时长，实际迁移时长还会受到网络、资源等因素影响。
-
应用场景 通过备份与恢复实现华为云Elasticsearch集群间数据迁移仅适用于源集群和目标集群都是CSS服务的集群，且依赖 对象存储服务 OBS。常用于以下场景： 跨地域或跨账号迁移：将其他Region或账号下的Elasticsearch集群迁移到当前集群中。 跨版本迁移：将低版本的Elasticsearch集群数据迁移到高版本的集群中。 集群合并：将两个Elasticsearch集群的索引数据合并到一个集群中。
-
前提条件 源Elasticsearch集群和目标Elasticsearch集群处于可用状态。 集群间需要保证网络连通。 如果源集群、Logstash和目标集群在不同VPC，则需要先打通VPC网络建立对等连接。具体操作请参见对等连接简介。 如果是自建Elasticsearch集群迁移至华为云，则可以通过给自建Elasticsearch集群配置公网访问打通网络。 如果是第三方Elasticsearch集群迁移至华为云，则需要建立企业内部数据中心到华为云的VPN通道或专线。 确认集群的索引已开启“_source”。 集群索引的“_source”默认是开启的。执行命令GET {index}/_search，当返回的索引信息里有“_source”信息时表示已开启。
-
操作步骤 获取Elasticsearch集群信息 准备迁移环境：创建ECS并准备必要的迁移工具和脚本。 创建Logstash集群：创建一个Logstash集群用于迁移数据。 验证集群间的网络连通性：验证Logstash和源Elasticsearch集群的连通性。 使用Logstash迁移集群 在集群迁移初期或需要确保数据完整性的场景，推荐使用Logstash全量迁移集群数据。 在需要持续同步数据或对数据实时性有较高要求的场景，推荐使用Logstash增量迁移集群数据。 释放Logstash集群：当集群迁移完成后，请及时释放Logstash集群。
-
验证集群间的网络连通性 在启动迁移任务前，需要先验证Logstash和源Elasticsearch集群的网络连通性。 在Logstash集群列表，选择创建的Logstash集群“Logstash-ES”，单击操作列的“配置中心”，进入配置中心页面。 在配置中心页面，单击“连通性测试”。 在弹窗中输入源集群的IP地址和端口号，单击“测试”。 图4 连通性测试 当显示“可用”时，表示集群间网络连通。如果网络不连通，可以配置Logstash集群路由，连通集群间的网络，具体操作请参见配置Logstash集群路由。
-
应用场景 华为云Logstash是一款全托管的数据接入处理服务，兼容开源Logstash的能力，支持用于Elasticsearch集群间数据迁移。 通过华为云Logstash可以实现华为云Elasticsearch、自建Elasticsearch或第三方Elasticsearch迁移至华为云Elasticsearch，该方案常用于以下场景： 跨版本迁移：利用Logstash的兼容性和灵活性，实现不同版本间的数据迁移，确保数据在新版本中的可用性和一致性。适用于Elasticsearch集群版本跨度较大的迁移场景，例如从6.X版本迁移至7.X版本。 集群合并：使用Logstash进行数据迁移，将多个Elasticsearch集群的数据整合到一个Elasticsearch集群中，实现多个Elasticsearch数据的统一管理和分析。 服务迁移上云：将自建的Elasticsearch服务迁移到云平台，以利用云服务的可扩展性、维护简便性和成本效益。 变更服务提供商：如果企业当前使用的是第三方Elasticsearch服务，但出于成本、性能或其他战略考虑，希望更换服务提供商至华为云。
-
性能影响 使用Logstash迁移集群依托于Scroll API，此API能够高效读取源集群的索引数据，并批量同步至目标集群。这一过程可能会对源集群性能产生影响，具体影响程度取决于目标集群对源集群的读取速度，而读取速度取决于Scroll API的size和slice参数配置。参数配置的详细指导可参考Reindex API文档。 对于资源消耗较高的集群，建议通过调整size参数来减缓迁移速率，或者选择在业务流量低谷时段进行迁移操作，以减轻对集群资源的影响。 对于资源消耗较低的集群，在迁移时可以采用默认参数配置，建议同时监控源集群的性能负载，并根据实际情况适时调整size和slice参数，以优化迁移效率和资源使用。
-
方案架构 图1 迁移流程 通过华为云Logstash实现Elasticsearch集群间数据迁移的迁移流程如图1所示。 输入（Input）：华为云Logstash接收来自华为云Elasticsearch、自建Elasticsearch或第三方Elasticsearch的数据。 华为云Elasticsearch、自建Elasticsearch或第三方Elasticsearch数据迁移到华为云Elasticsearch的操作步骤相同，只是获取源集群的访问地址有差异，具体请参见获取Elasticsearch集群信息。 过滤（Filter）：华为云Logstash对数据进行清洗和转换。 输出（Output）：华为云Logstash将数据输出到目标设备，如华为云Elasticsearch。 根据业务需求，可以选择全量数据迁移或增量数据迁移。 全量数据迁移：使用Logstash进行全量数据迁移，适用于迁移初期或需要确保数据完整性的场景。 增量数据迁移：通过Logstash配置增量查询，可以只迁移有增量字段的索引数据。此方法适用于需要持续同步数据或对数据实时性有较高要求的场景。
-
方案优势 高版本兼容性：适用于不同版本的Elasticsearch集群迁移。 高效的数据处理能力：Logstash支持批量读写操作，可以大幅度提高数据迁移的效率。 并发同步技术：利用slice并发同步技术，可以提高数据迁移的速度和性能，尤其是在处理大规模数据时。 配置简单：华为云Logstash的配置相对简单直观，通过配置文件即可实现数据的输入、处理和输出。 强大的数据处理功能：Logstash内置了丰富的过滤器，可以在迁移过程中对数据进行清洗、转换和丰富。 灵活的迁移策略：根据业务需求，可以灵活选择全量迁移或增量迁移，优化存储使用和迁移时间。
-
脚本“perf.lua” local random = math.random local reqs = {} local cnt = 0 -- 压测数据文件名称根据需要调整。 for line in io.lines("sift_requests.txt") do table.insert(reqs, line) cnt = cnt + 1 end local addrs = {} local counter = 0 function setup(thread) local append = function(host, port) for i, addr in ipairs(wrk.lookup(host, port)) do if wrk.connect(addr) then addrs[#addrs+1] = addr end end end if #addrs == 0 then -- 根据集群的实际地址进行修改。 append("192.168.0.84", 9200) append("192.168.0.32", 9200) append("192.168.0.49", 9200) end local index = counter % #addrs + 1 counter = counter + 1 thread.addr = addrs[index] end -- 索引名称根据需要调整。 wrk.path = "/index_sift_graph/_search?request_cache=false&preference=_local" wrk.method = "GET" wrk.headers["Content-Type"] = "application/json" function request() return wrk.format(wrk.method, wrk.path, wrk.headers, reqs[random(cnt)]) end
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格
