检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Logstash迁移任务 创建Logstash配置文件 启动Logstash迁移任务 停止Logstash迁移任务 Logstash配置文件模板介绍 父主题: 使用Logstash迁移数据
计费说明 云搜索服务的计费方式简单、灵活,您既可以选择按实际使用的资源计费,也可以选择更经济的按包周期(包年包月)计费方式。详细的费用价格请参见CSS价格计算器。 计费项 云搜索服务对您选择的实例规格和使用时长计费。 表1 云搜索服务计费说明 计费项 计费说明 节点规格 节点类型
], "transitions": [] } ] } } 新建索引模板“template_hot_warm”。 模板定义:新建的所有“data”开头的索引会自动关联上生命周期策略“hot_warm_policy”。 PUT _tem
停止Pipeline迁移数据 cluster stopPipeline 添加到自定义模板 cluster addFavorite 连通性测试 cluster startConnectivityTest 查询模板列表 cluster listTemplates 查询配置文件列表 cluster
在Kibana操作页面设置template,通过设置集群模板将相应的索引数据存储到冷热数据节点上。 例如,执行如下命令设置template将以“myindex”开头的索引存储到冷数据节点上。 Elasticsearch版本<6.x的创建模板命令 PUT _template/test {
该接口用于启动pipeline迁移数据。 停止pipeline迁移数据 该接口用于停止pipeline迁移数据。 添加到自定义模板 该接口用于添加到自定义模板。 连通性测试 该接口用于连通性测试。 查询模板列表 该接口用于查询模板列表。 查询配置文件列表 查询配置文件列表。 查询pipeline列表 该接口用于查询pipeline列表。
1不支持跨版本升级,可以通过集群迁移进行跨版本升级。Logstash引擎版本不支持原地升级,建议先在原集群保存配置文件conf为自定义模板,新建集群后,在新集群的自定义模板中选择保存的conf模板进行集群恢复实现集群迁移。
停词词库文件对象。 synonymObj String 同义词词库文件对象。 staticMainObj String 静态主词词库文件对象 staticStopObj String 静态主词词库文件对象 extraMainObj String Extra主词词库库文件对象 extraStopObj
ilter-plugins.html。 output:指定数据的目的地址。output参数的详细解释和使用介绍请参见https://www.elastic.co/guide/en/logstash/current/output-plugins.html。<跳转主机的公网IP地址>
配置Elasticsearch集群的索引模板。 登录云搜索服务管理控制台。 在左侧导航栏中,选择“集群管理 > Elasticsearch”。 在集群列表,选择待操作的集群,单击操作列“Kibana”,登录Kibana。 单击左侧导航栏的“Dev Tools”进入操作页面。 创建一个索引模板令。 例如,创
详细可参考官网:https://www.elastic.co/guide/cn/elasticsearch/guide/current/logging.html 父主题: CSS集群搜索引擎使用
ilter-plugins.html。 output:指定数据的目的地址。output参数的详细解释和使用介绍请参见https://www.elastic.co/guide/en/logstash/current/output-plugins.html。<跳转主机的公网IP地址>
最新动态 本文介绍了云搜索服务CSS各特性版本的功能发布和对应的文档动态,新特性将在各个区域(Region)陆续发布,欢迎体验。 2021年3月 序号 功能名称 功能描述 阶段 相关文档 1 Logstash类型集群 云搜索服务支持创建Logstash类型集群。 商用 / 2021年1月
Kibana的官方文档请参见:https://www.elastic.co/guide/en/kibana/current/index.html 云搜索服务的Elasticsearch集群默认提供Kibana,无需安装部署,即可一键访问Kibana。云搜索服务兼容了开源Kiban
7个词库参数至少修改一个词库。注:参数传递""空字符串为清空此词库,不传或传递null为不修改。 static_main_object 否 String 静态主词词库文件,必须为UTF-8无BOM编码的文本文件,一行一组分词,文件大小最大支持100M。 7个词库参数至少修改一个词库。注:参数传递
通过华为OBS恢复数据到华为云Elasticsearch。 方案优势 易于操作和管理:使用Elasticsearch自带的快照和恢复API,操作简单,易于管理和自动化。 适用于大规模数据迁移:快照备份适用于数据量大的场景,特别是当数据量达到GB、TB甚至PB级别时。 恢复过程可控:在恢
迁移的效率。 并发同步技术:利用slice并发同步技术,可以提高数据迁移的速度和性能,尤其是在处理大规模数据时。 配置简单:华为云Logstash的配置相对简单直观,通过配置文件即可实现数据的输入、处理和输出。 强大的数据处理功能:Logstash内置了丰富的过滤器,可以在迁移过程中对数据进行清洗、转换和丰富。
测试环境 数据集: esrally nyc_taxis数据集 集群规格: 4U16G 100GB高IO * 3节点 测试步骤 在集群中创建索引模板,指定排序键和关闭聚合增强。 PUT /_template/nyc_taxis { "template": "nyc_taxis*",
HttpHost("localhost", 9201, "http"))); // 关闭客户端 client.close(); 模板配置 Elasticsearch 5.x版本中创建模板使用的是template字段。 Elasticsearch 5.x版本样例: PUT _template/template_1
选择左侧导航栏的“Dev Tools”,进入操作页面。 在OpenSearch Dashboards操作页面设置template,通过设置集群模板将相应的索引数据存储到冷热数据节点上。 例如,执行如下命令设置template将以“myindex”开头的索引存储到冷数据节点上。 PUT