检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CSS支持存算分离,即将索引冻结到OBS来降低冷数据的存储成本。本文介绍如何使用索引生命周期管理,在特定的时间自动冻结索引,实现存算分离。 本案例通过配置生命周期策略,实现索引在创建3天后,自动被冻结,数据转储到OBS中;当索引创建7天后,删除该索引。 图1 存算分离 前提条件 CSS集群处于可用状态。
nt:commons-httpclient-3.1.jar,其中3.1为版本号,建议用户根据实际需要选择。 安装MRS客户端,如果已经安装可以跳过该步骤,未安装的请参见安装客户端(3.x及之后版本)。 登录MRS客户端,将下载的ES-Hadoop和httpclient的jar依赖包上传到MRS客户端。
为什么集群创建失败 集群创建失败原因有如下4种: 资源配额不足,无法创建集群。建议申请足够的资源配额,详情请参见如何申请扩大配额?。 如果集群配置信息中,“安全组”的“端口范围/ICMP类型”不包含“9200”端口,导致集群创建失败。请修改安全组信息或选择其他可用安全组。 7.6.2以及7
编辑完成后,单击“下一页”配置Logstash配置文件运行参数。 此示例保持默认值即可,如需设置请参见创建Logstash配置文件。 配置完成后,单击“创建”。 在配置中心页面可以看到创建的配置文件,状态为“可用”,表示创建成功。 启动全量迁移任务。 在配置文件列表,选择配置文件“es-es-all”,单击左上角的“启动”。
的端,表示创建完成。 图2 Destinations列表 新建一个监控,并配置告警的触发条件和监控频率。 在“Alerting”页面选择“Monitors”页签,单击“Create monitors”配置监控信息。 表2 Monitors参数说明 参数名称 说明 Monitor name
ECS服务器部署Logstash推送数据到CSS服务报错 问题现象 ECS服务器部署logstash,然后推送数据到云搜索服务CSS,出现错误信息如下: LogStash::Outputs::ElasticSearch::HttpClient::Pool::BadResponseCodeError:
外提供可视化报表展示。 CSS支持的监控指标请参见支持的监控指标。基于CES的告警能力,可以对指定的监控指标进行阈值告警,如何配置集群的监控告警请参见配置集群监控。 父主题: 安全
本文介绍如何使用索引生命周期管理,在特定的时间自动冻结索引,实现存算分离。 本案例通过给Elasticsearch 7.10.2版本的集群配置生命周期策略,实现索引在创建3天后,自动被冻结,数据转储到OBS中;当索引创建6天后,关闭索引;当索引创建7天后,对存储在OBS上的索引数
_template/template_test 新建一个索引,指定“aliases”,并配置“is_write_index”为“true”。该索引会自动应用索引模板“template_test”,并通过索引模板的配置与生命周期策略“rollover_workflow”相关联,实现当索引的大小
_template/template_test 新建一个索引,指定“aliases”,并配置“is_write_index”为“true”。该索引会自动应用索引模板“template_test”,并通过索引模板的配置与生命周期策略“rollover_workflow”相关联,实现当索引的大小
页面。 左侧菜单栏选择“智能运维”。 在智能运维页面,单击左上角的“启动检测”。 在对话框中填写检测任务的基本信息,单击“确定”。 表1 配置检测任务 参数 说明 名称 检测任务的名称。 描述 检测任务的简短描述。 SMN主题 当勾选“任务完成后发送SMN告警”时,需要选择当前账号已创建的SMN主题。
果,以此减少重复查询。 增加query cache可以通过修改集群的参数配置实现,将自定义缓存参数“indices.queries.cache.size”设置为更大的值。具体操作请参见参数配置,修改参数配置后一定要重启集群使参数生效。 提前Forcemerge,减小需要扫描的Segments数
备份。支持用户参考表1修改默认值。 如果集群已经启用了日志备份功能,也可以单击“日志备份配置”右侧的编辑图标,在“编辑日志备份配置”窗口,参考表1更新日志备份的配置参数。 表1 日志备份配置 参数 说明 注意事项 “OBS桶” 选择日志存储的OBS桶。单击右侧的“创建桶”支持新建OBS桶。
页面。 左侧菜单栏选择“智能运维”。 在智能运维页面,单击左上角的“启动检测”。 在对话框中填写检测任务的基本信息,单击“确定”。 表1 配置检测任务 参数 说明 名称 检测任务的名称。 描述 检测任务的简短描述。 SMN主题 当勾选“任务完成后发送SMN告警”时,需要选择当前账号已创建的SMN主题。
备份。支持用户参考表1修改默认值。 如果集群已经启用了日志备份功能,也可以单击“日志备份配置”右侧的编辑图标,在“编辑日志备份配置”窗口,参考表1更新日志备份的配置参数。 表1 日志备份配置 参数 说明 注意事项 “OBS桶” 选择日志存储的OBS桶。单击右侧的“创建桶”支持新建OBS桶。
rch集群的跨区域迁移,可以通过以下方法实现: 如果OBS桶在同一个区域,请参考备份与恢复索引进行集群迁移。 如果OBS桶跨区域,请先参考配置跨区域复制进行跨区域复制OBS桶,再参考备份与恢复索引进行集群迁移。 在跨区域复制之前,要保证目标集群设置的快照文件夹为空,否则无法将快照信息刷新到目标集群的快照列表中。
集群支持修改安全组吗? 集群创建成功后,支持修改集群的安全组。 进行安全组切换前,请确保业务接入时需要的9200端口已经放开,错误的安全组配置可能会导致业务无法访问,请谨慎操作。 建议在业务空闲时操作。 2023年2月之前创建的集群无法进行安全组修改,建议使用备份与恢复迁移集群数据至新集群后,进行安全组修改。
控指标列表和维度定义。用户可以通过云监控服务提供管理控制台或API接口来检索云搜索服务产生的监控指标和告警信息。 当Logstash集群的配置中心无管道列表的操作记录,则Logstash集群的监控记录将为空。 当管道的“事件”数据动态变化时,监控数据也会同步变化;当管道任务在启动
当需要将数据从一个Elasticsearch集群迁移到另一个新集群时,Kibana可视化图表的迁移是确保业务连续性的关键步骤。通过导出源集群的Kibana可视化配置(如仪表板、图表等),并在目标集群中导入,可以确保用户界面和监控仪表板的一致性。 在开发、测试和生产环境之间复制Elasticsearch
备份。支持用户参考表1修改默认值。 如果集群已经启用了日志备份功能,也可以单击“日志备份配置”右侧的编辑图标,在“编辑日志备份配置”窗口,参考表1更新日志备份的配置参数。 表1 日志备份配置 参数 说明 注意事项 “OBS桶” 选择日志存储的OBS桶。单击右侧的“创建桶”支持新建OBS桶。