检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过备份与恢复实现华为云Elasticsearch集群间数据迁移 通过S3插件备份与恢复迁移自建Elasticsearch集群至华为云 通过备份与恢复迁移第三方Elasticsearch集群至华为云 通过读写分离插件实现华为云Elasticsearch集群间数据迁移 通过Reindex API
图4 创建集群 步骤2:导入数据 Elasticsearch集群支持通过多种方式导入数据,本示例选择在Kibana使用开源Elasticsearch API导入数据。
步骤2:导入数据 OpenSearch集群支持通过多种方式导入数据,本示例选择在OpenSearch Dashboards上使用开源Elasticsearch API导入数据。
创建Logstash集群 前提条件 已经参考Logstash集群规划建议完成待创建的Logstash集群规划。 创建集群 登录云搜索服务管理控制台。 在“总览”页面单击右上角的“创建集群”,进入“创建集群”页面。 或者左侧导航栏单击“集群管理>Logstash”,单击右上角的“创建集群
方案优势 易于操作和管理:使用Elasticsearch自带的快照和恢复API,操作简单,易于管理和自动化。 适用于大规模数据迁移:快照备份适用于数据量大的场景,特别是当数据量达到GB、TB甚至PB级别时。
通过Rest High Level Client接入Elasticsearch集群 Elasticsearch官方提供了SDK(Rest High level Client)方式连接集群,Rest Client客户端对Elasticsearch的API进行了封装,用户只需要构造对应的结构即可对
性能影响 使用Logstash迁移集群依托于Scroll API,此API能够高效读取源集群的索引数据,并批量同步至目标集群。这一过程可能会对源集群性能产生影响,具体影响程度取决于目标集群对源集群的读取速度,而读取速度取决于Scroll API的size和slice参数配置。
与其他服务之间的关系 CSS与其他服务的关系如图1所示。 图1 CSS与其他服务的关系 表1 CSS服务与其他服务的关系 相关服务 交互功能 虚拟私有云(Virtual Private Cloud,简称VPC) 云搜索服务CSS的集群创建在虚拟私有云(VPC)的子网内,VPC通过逻辑方式进行网络隔离
性能影响 使用备份与恢复迁移集群的核心在于直接复制数据存储层的文件以实现数据备份,该方案避免了对Elasticsearch外部读写接口的依赖,从而显著降低了对源集群性能的影响。对于对业务延迟要求不严苛的集群而言,此方法对性能的干扰几乎可以忽略。
建议确认访问环境的安全性,勿将访问接口暴露到公网环境上。 可以实现用户权限隔离,适用于对集群性能敏感的场景。 优点:访问集群需要安全认证,提升了集群安全性。通过HTTP协议访问集群又能保留集群的高性能。 缺点:无法公网访问集群。
建议确认访问环境的安全性,勿将访问接口暴露到公网环境上。 可以实现用户权限隔离,适用于对集群性能敏感的场景。 优点:访问集群需要安全认证,提升了集群安全性。通过HTTP协议访问集群又能保留集群的高性能。 缺点:无法公网访问集群。
调用注册接口。 将上述创建的my_dict索引注册具有全局唯一标识名称(dict_name)的Dict对象。
调用注册接口。 将上述创建的my_dict索引注册具有全局唯一标识名称(dict_name)的Dict对象。
参数名称:plugins.security.unsupported.restapi.allow_securityconfig_modification 参数值:true 添加完成后,单击上方的“提交”弹出“提交配置”窗口,确认参数无误后勾选“参数修改后需要手动重启才能生效”,单击“
图3 配置访问方式 编程访问:为IAM用户启用访问密钥或密码,支持用户通过API、CLI、SDK等开发工具访问华为云服务。 管理控制台访问:为IAM用户启用密码,支持用户登录华为云管理控制台访问云服务。
参数名称:opendistro_security.unsupported.restapi.allow_securityconfig_modification 参数值:true 添加完成后,单击上方的“提交”弹出“提交配置”窗口,确认参数无误后勾选“参数修改后需要手动重启才能生效”,
JSON、CSV、文本等多种格式 使用自建Logstash导入数据到OpenSearch 开源OpenSearch API 使用开源OpenSearch API导入数据,使用灵活,适用于开发自己写的应用代码场景。
JSON、CSV、文本等多种格式 使用自建Logstash导入数据到Elasticsearch 开源Elasticsearch API 使用开源Elasticsearch API导入数据,使用灵活,适用于开发自己写的应用代码场景。
worker:1 #根据实际情况调大bulk_max_size参数(该参数是指单个elasticsearch批量API索引请求的最大事件数,默认是50)。
查看Logstash集群信息 在Logstash集群的列表页和基本信息页,可以获取集群的状态、版本、节点等信息。 集群列表介绍 集群列表会展示当前账号下同一集群类型的所有集群。当集群数量较多时,会翻页显示,支持查看任何状态下的集群。 集群列表默认按时间顺序排列,时间最近的集群显示在最前端