检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
适用于将第三方Elasticsearch服务迁移到华为云平台的场景。 在集群迁移期间,不要对源集群的索引进行增删改操作,避免迁移后源集群与目标集群数据不一致。 集群间需要保证网络连通。 需要建立企业内部数据中心到华为云的VPN通道或专线。 通过华为云Logstash实现Elasticsearch集群间数据迁移 备份与恢复
2版本默认安装了读写分离插件)。 集群间需要保证网络连通。 如果源集群和目标集群在不同VPC,则需要先打通VPC网络建立对等连接。具体操作请参见对等连接简介。 操作步骤 获取Elasticsearch集群信息,用于配置迁移任务。 表1 需要获取的Elasticsearch集群信息
其中的“number_of_shards”与“number_of_replicas”需根据具体业务场景进行配置。 操作步骤 通过DRS将MySQL数据实时同步到CSS。具体操作步骤请参见将MySQL同步到CSS/ES。 在本章案例中,表1中的同步任务配置参数需要按建议填写。 表1 同步任务参数说明
步与时间相关的数据时,同步前后的数据可能存在时区差。 前提条件 已准备好存有数据的MySQL数据库,本案例以云数据库的RDS for MySQL实例为例,具体操作请参见购买RDS for MySQL实例。 已准备好用于同步数据的Logstash集群,具体操作请参见创建Logstash集群。本文以7
h。 根据业务需求,可以选择全量数据迁移或增量数据迁移。 全量数据迁移:使用Logstash进行全量数据迁移,适用于迁移初期或需要确保数据完整性的场景。 增量数据迁移:通过Logstash配置增量查询,可以只迁移有增量字段的索引数据。此方法适用于需要持续同步数据或对数据实时性有较高要求的场景。
只恢复索引“index_1”和“index_2”,忽略快照中的其他索引。 "indices": "index_1,index_2" # 查找正在恢复的索引,该索引名称需要与提供的模板匹配。 "rename_pattern": "index_(.+)", # 重命名查找到的索引。 "rename_replacement":
total_shards_per_node": 2 } 即单个索引在每个节点上最多分配2个shards。其中,具体每个节点最多分配多少个shards,请根据集群数据节点个数、索引分片(主、副)的数量自行决定。 如果是shards集中分配在数量过少的节点上导致索引shards分配到同一个节点上,可以使用POST
subnet-default 安全组 安全组起着虚拟防火墙的作用,为集群提供安全的网络访问控制策略。 说明: 为了确保您能够正常访问集群,需要放通安全组9200规则。 default 安全模式 集群支持选择是否开启安全模式,开启之后将对集群进行通讯加密和安全认证。 关闭 单击“下
目标Elasticsearch集群 参考文档 将RDS for MySQL数据库的数据导入到CSS Elasticsearch集群 RDS for MySQL 5.5、5.6、5.7、8.0版本 ElasticSearch 5.5、6.2、6.5、7.1、7.6、7.9、7.10版本 将MySQL同步到CSS/ES
获取源数据信息。 当源数据是Oracle数据库时,需要获取Oracle数据库的IP、数据库名、用户名和密码。 当源数据是OBS桶中的JSON数据时,需要获取OBS的访问域名、端口,以及AK、SK。 当源数据是Oracle数据库时,需要确保Oracle可通过公网IP访问,或者已经建立
获取源数据信息。 当源数据是Oracle数据库时,需要获取Oracle数据库的IP、数据库名、用户名和密码。 当源数据是OBS桶中的JSON数据时,需要获取OBS的访问域名、端口,以及AK、SK。 当源数据是Oracle数据库时,需要确保Oracle可通过公网IP访问,或者已经建立
目标OpenSearch集群 参考文档 将RDS for MySQL数据库的数据导入到CSS Elasticsearch集群 RDS for MySQL 5.5、5.6、5.7、8.0版本 OpenSearch 1.3.6版本 将MySQL同步到CSS/ES 将TaurusDB数据库的数据导入到CSS
"vector": True }, "number_of_shards": shards, "number_of_replicas": replicas, },
CSS服务中Kibana是否支持导出数据功能? Elasticsearch 7.6.2、7.9.3和7.10.2版本(镜像版本号小于24.3.0)的Kibana导出数据需要依赖SQL Workbench插件。 在Kibana的“SQL Workbench”里,输入Elasticsearch SQL语句可以查询
earch Dashboards上使用开源Elasticsearch API导入数据。 在OpenSearch集群管理页面,选择已创建的“Sample-OSCluster”集群,单击操作列中的“Kibana”进入OpenSearch Dashboards控制台。 在OpenSearch
2升级至OpenSearch 1.3.6。 数据库数据迁移至Elasticsearch集群 使用DRS从数据库导入数据至Elasticsearch:适用于将MySQL数据库中的数据同步到Elasticsearch集群中。一般用于集群间的数据增量迁移,在数据同步后集群随时可割接,较其他增量迁移更加方便灵活。
ess-client:1~32 ess-cold:1~32 说明: ess:数据节点,即创建集群时必配的节点类型,其他3种节点类型都是基于业务需要可选的类型。 ess-master:Master节点。 ess-client:Client节点。 ess-cold:冷数据节点。 前提条件
参数解释: 集群扩容请求详细描述。 isAutoPay 否 Integer 是否自动支付。下单订购后,是否自动从客户的华为云账户中支付,而不需要客户手动去进行支付。该参数适用于包周期集群。 1:是(会自动选择折扣和优惠券进行优惠,然后自动从客户华为云账户中支付),自动支付失败后会生
multitenancy.enable_filter: false 安全模式需要安装插件opensearch_security_dashboards,详细请参考security-dashboards-plugin。 安装的插件版本需要和集群版本保持一致,通过GET _cat/plugins命令可以获取到集群安全插件的版本号。
访问Elasticsearch集群的用户名,一般为admin。 仅安全集群需要输入此参数。 password 否 访问Elasticsearch集群的密码。此密码为创建集群时设置的密码。 仅安全集群需要输入此参数。 index 是 配置为需要迁移数据的索引,即用户需要迁移数据到哪个索引,就配置哪个索引。 不支持配置多条索引。