检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本案例通过配置生命周期策略,实现索引在创建3天后,自动被冻结,数据转储到OBS中;当索引创建7天后,删除该索引。 图1 存算分离 前提条件 CSS集群处于可用状态。 使用OpenSearch 1.3.6版本的集群。 通过索引生命周期管理实现存算分离 登录云搜索服务管理控制台。
进行安全组切换前,请确保业务接入时需要的9200端口已经放开,错误的安全组配置可能会导致业务无法访问,请谨慎操作。 调用方法 请参见如何调用API。
在ECS上安装开源压测工具Wrk。 在ECS上准备压测的查询请求文件,用于模拟真实业务场景。参考脚本prepare_query.py。 pip install h5py python3 prepare_query.py 在ECS上准备Wrk的压测配置脚本。
本案例通过给Elasticsearch 7.10.2版本的集群配置生命周期策略,实现索引在创建3天后,自动被冻结,数据转储到OBS中;当索引创建6天后,关闭索引;当索引创建7天后,对存储在OBS上的索引数据执行归档操作,进一步降低存储成本;当索引创建30天后,删除该索引。
IP地址或域名 填写Elasticsearch集群的IP地址,获取方式请参见获取CSS集群的IP地址。 数据库用户名 填写Elasticsearch集群的管理员账户名(admin)。 数据库密码 填写Elasticsearch集群的管理员密码。
本案例通过配置生命周期策略,当索引的大小达到1TB或索引创建超过1天时,自动滚动生成新索引;当索引创建7天后,关闭数据副本;当索引创建30天后,删除该索引。 假设某个索引,其每天约产生2.4TB的数据,索引别名“log-alias”,其数据在集群中的组织形态如下图所示。
当Logstash集群的配置中心无管道列表的操作记录,则Logstash集群的监控记录将为空。 当管道的“事件”数据动态变化时,监控数据也会同步变化;当管道任务在启动中、停止中或事件数据稳定时,监控数据则无变化。
进行安全组切换前,请确保业务接入时需要的9200端口已经放开,错误的安全组配置可能会导致业务无法访问,请谨慎操作。 建议在业务空闲时操作。 2023年2月之前创建的集群无法进行安全组修改,建议使用备份与恢复迁移集群数据至新集群后,进行安全组修改。 登录云搜索服务控制台。
规划时,应考虑是否多可用区部署以提高集群的高可用性,合理配置集群的节点类型与节点存储规格,以及根据业务需求选择适当的集群版本和安全模式,同时注意索引分片的优化,以确保集群的稳定性和性能。
本案例通过配置生命周期策略,当索引的大小达到1TB或索引创建超过1天时,自动滚动生成新索引;当索引创建7天后,关闭数据副本;当索引创建30天后,删除该索引。 假设某个索引,其每天约产生2.4TB的数据,索引别名“log-alias”,其数据在集群中的组织形态如下图所示。
准备工作 已注册华为账号并开通华为云,进行了实名认证,且在使用云搜索服务前检查账号状态,账号不能处于欠费或冻结状态。 如果您还没有华为账号,请参考以下步骤创建。 打开华为云网站。 在页面右上角单击“注册”,根据提示信息完成注册。 勾选服务条款, 单击“开通”。
准备工作 已注册华为账号并开通华为云,进行了实名认证,且在使用云搜索服务前检查账号状态,账号不能处于欠费或冻结状态。 如果您还没有华为账号,请参考以下步骤创建。 打开华为云网站。 在页面右上角单击“注册”,根据提示信息完成注册。 勾选服务条款, 单击“开通”。
通过导出源集群的Kibana可视化配置(如仪表板、图表等),并在目标集群中导入,可以确保用户界面和监控仪表板的一致性。 在开发、测试和生产环境之间复制Elasticsearch环境时,Kibana可视化图表的迁移可以确保不同环境之间的一致性,提升开发和测试效率。
在集群管理列表页,查看待配置自定义词库的集群的“创建时间”。 如果创建时间早于2018年3月10日,则创建该集群时自定义词库功能尚未上线,当前无法为该集群配置自定义词库。
在“配置信息”区域,单击“重置密码”后的“重置”,设置并确认新的管理员密码。 可输入的字符串长度为8~32个字符。 密码至少包含大写字母、小写字母、数字和特殊字符四类中的三类。其中支持的特殊字符有“~!@#$%^&*()-_=+\|[{}];:,<.>/?”。
修改logstash配置文件output标签下elasticsearch内添加配置项ilm_enabled => false。 重新尝试推送数据到es。 父主题: 数据导入导出类
增强Elasticsearch集群搜索能力 Elasticsearch集群搜索增强特性介绍 配置Elasticsearch集群向量检索 配置Elasticsearch集群存算分离 配置Elasticsearch集群读写流量控制策略2.0 配置Elasticsearch集群读写流量控制策略
在创建集群时,选择的节点数量都要大于等于2,否则跨可用区部署会失败。 部署跨AZ集群时,节点会被均匀的分布在不同的AZ上。
接入集群 在弹性云服务器ECS上安装LDAP服务,如果已提前准备好LDAP服务和用户数据,则可以跳过该步骤。 创建ECS。ECS需要选择Windows系统,且和CSS服务的安全集群在同一个虚拟私有云和安全组中。
当源数据是OBS桶中的JSON数据时,需要获取OBS的访问域名、端口,以及AK、SK。 当源数据是Oracle数据库时,需要确保Oracle可通过公网IP访问,或者已经建立好了企业内部数据中心到华为云上的VPN通道或专线。 导入数据 登录云搜索服务管理控制台。