检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过华为云Logstash实现Elasticsearch集群间数据迁移 使用华为云CSS服务的Logstash集群可以实现Elasticsearch集群间的数据迁移。 应用场景 华为云Logstash是一款全托管的数据接入处理服务,兼容开源Logstash的能力,支持用于Elasticsearch集群间数据迁移。
6.2及以上的版本,集群内通信端口9300默认开放在用户VPC的子网上。集群所选安全组需要放通子网内的9300通信端口才能保证节点之间通信。 处理步骤 在集群管理页面,单击不可用的集群名称,进入集群基本信息页面。 单击“配置信息”中的安全组名称,进入当前集群所选安全组的基本信息页面。
不同分片之间的同步,提高数据的一致性 。 迁移速度快:读写分离的自动同步速度依赖带宽,不受源集群和目标集群的影响,同步快。 实时性可控:读写分离的默认同步周期为30秒,支持修改,可以控制数据迁移的实时性,减少数据同步过程中的延迟 。 性能影响 使用读写分离迁移集群的核心在于通过底
安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安
使用云搜索服务时,成本主要包含各类资源和资源包的成本,这取决于云搜索服务的计费项。 华为云成本中心可以帮助您更高效地管理资源成本,但运维成本需要您自行识别、管理和优化。 成本分配 成本管理的基础是树立成本责任制,让各部门、各业务团队、各责任人参与进来,为各自消耗云服务产生的成本负责。企业可以通过成本分配的方式,将云
使用备份与恢复迁移集群的核心在于直接复制数据存储层的文件以实现数据备份,该方案避免了对Elasticsearch外部读写接口的依赖,从而显著降低了对源集群性能的影响。对于对业务延迟要求不严苛的集群而言,此方法对性能的干扰几乎可以忽略。 约束限制 目标集群的版本不能低于源集群的版本,版本兼容性分析请参见Snapshot
使用备份与恢复迁移集群的核心在于直接复制数据存储层的文件以实现数据备份,该方案避免了对Elasticsearch外部读写接口的依赖,从而显著降低了对源集群性能的影响。对于对业务延迟要求不严苛的集群而言,此方法对性能的干扰几乎可以忽略。 约束限制 目标集群的版本不能低于源集群的版本,版本兼容性分析请参见Snapshot
Eye)是面向华为云资源的监控平台,提供了实时监控、及时告警、资源分组、站点监控等能力。CSS服务基于云监控服务CES,从集群和节点两个维度提供了丰富的监控指标,监控信息通过CES对外提供可视化报表展示。 CSS支持的监控指标请参见支持的监控指标。基于CES的告警能力,可以对指定的监控指标
足您按需选择的要求。具体规格说明和适用场景请见表1。 表1 节点规格 CPU架构 节点规格类型 CPU内存比 适合场景 X86计算 计算密集型 1:2 CPU较强,适合高计算、要求低时延的搜索场景,比如电商,APP搜索,配合超高IO的磁盘。成本较高,相对于NVMe的本地盘集群可靠性强。
根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将CSS资源委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用CSS服务的其他功能。
如何查看CSS集群的分片数以及副本数? 登录云搜索控制台。 在集群管理页面,选择需要查看的集群操作列的Kibana。 登录Kibana界面,选择Dev Tools。 在Dev Tools的Console界面中执行GET _cat/indices?v命令,查询集群分片数和副本数。如
云搜索控制台页面提示系统繁忙 问题描述 登录云搜索控制台,单击集群列表,显示“系统繁忙,请稍后重试或拨打客服电话4000-955-988”和“当前策略不允许css:cluster:list”。 问题原因 该问题是由于此账号没有云搜索服务的读权限导致的,需要主账号赋予此账号需要使用功能的IAM权限。
使用备份与恢复迁移集群的核心在于直接复制数据存储层的文件以实现数据备份,该方案避免了对Elasticsearch外部读写接口的依赖,从而显著降低了对源集群性能的影响。对于对业务延迟要求不严苛的集群而言,此方法对性能的干扰几乎可以忽略。 约束限制 目标集群的版本不能低于源集群的版本,版本兼容性分析请参见Snapshot
CTS的详细介绍和开通配置方法,请参见CTS快速入门。 CSS服务支持云审计的操作列表请参见支持云审计的关键操作。 图1 云审计服务 在您开启了云审计服务后,系统会记录云搜索服务的相关操作,且控制台保存最近7天的操作记录。如何在云审计服务管理控制台查看最近7天的CSS服务操作记录请参见查询审计事件。 日志 除了云审计
从不同的数据源(input)迁移数据到不同的目的端(output)。 约束限制 创建的配置文件大小不能超过100k。 Logstash集群允许最多配置50个配置文件,最多可以同时存在5个“状态”为“校验中”的配置文件。 前提条件 创建配置文件前,必须先获取数据源和目的端的服务器或
“集群状态”为“不可用”,集群的“任务状态”为“冻结”。 图1 集群冻结状态 原因分析 集群出现冻结状态的原因是账户欠费或包年包月集群的订购周期已到期。 处理步骤 按需计费集群 在华为云控制台上方单击“费用与成本”进入费用中心。 在“总览”页面查看账户的欠费情况。 如果是IAM用户
自建Elasticsearch集群迁移至华为云 华为云Logstash 适用于低版本的自建Elasticsearch集群到高版本华为云Elasticsearch集群的数据迁移。 适用于将多个自建Elasticsearch集群的数据整合到一个华为云Elasticsearch集群的场景。 适用于将自建的Elasti
云搜索服务为您提供各种业务场景、方案架构的最佳实践,方便您根据自身的业务场景选择合适的实践方案。 表1 常用最佳实践 实践场景 描述 数据迁移 通过华为云Logstash实现Elasticsearch集群间数据迁移 华为云Logstash是一款全托管的数据接入处理服务,兼容开源Logstash的能力,支持用
时同步是指在不同的系统之间,将数据通过同步技术从一个数据源复制到其他数据库,并保持一致,实现关键业务的数据实时流动。 使用DRS支持将多种关系型数据库的数据导入至Elasticsearch集群,源数据库和目标集群的版本支持情况请参见表2。 表2 使用DRS从数据库导入数据至OpenSearch
获取智能运维告警可用的SMN主题 cluster listSmnTopics 查看审计事件 在云审计服务管理控制台,用户创建管理类追踪器后,系统会开始记录用户对云服务资源的操作,创建数据类追踪器后,系统会开始记录用户对OBS桶中数据的操作。云审计服务管理控制台会保存最近7天的操作记录。