检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MMM dd HH:mm:ss zzz yyyy" } } } } 在ECS上准备测试数据。 执行如下命令,生成测试数据,并将数据写到“/root/tmp.log”中: bash -c 'while true; do echo [$(date)]
关闭日志功能 查询日志备份任务列表 查询日志基础配置 修改日志基础配置 开启日志自动备份策略 关闭日志自动备份策略 备份日志 查询日志 连通性测试 父主题: API
扩容集群 功能介绍 该接口用于集群扩容实例(仅支持扩容elasticsearch实例)。只扩容普通节点,且只针对要扩容的集群实例不存在特殊节点(Master、Client、冷数据节点)的情况。集群扩容实例的数量和存储容量,请参考扩容实例的数量和存储容量。 调用方法 请参见如何调用API。
配置Elasticsearch集群存算分离 存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能,将历史数据存储到OBS中降低数据的存储成本。 场景描述 存算分离是通过冻结索引将历史数据转储到OBS,以此降低数据的存储成本。 对于有海量数据写入和存储的场景,数据有明
缩容Elasticsearch集群 当集群有充足的能力处理当前数据时,为节省资源可以参考本文缩容集群的节点数量。 场景描述 CSS服务支持多种缩容场景,如表1所示。 表1 缩容场景 场景 描述 相关文档 缩容随机节点 缩容随机节点是基于节点类型随机下线节点减少集群的“节点数量”,减少集群占用的资源。
ECS,“镜像”选择CentOS 7系列,“虚拟私有云”和目标集群保持一致。购买操作指导请参见快速购买和使用Linux ECS。 测试ECS和源集群、目标集群的连通性。 在ECS执行如下命令测试连通性,当正常返回集群信息时表示已经连通。 # 非安全集群 curl -ik http://ip:9200
数据量很大,如何进行快照备份? 如果快照数据量极大,快照备份要超过一天时,可参考如下方法进行优化。 快照备份的时候指定索引,比如先分批,默认是*,将会备份所有的索引。 使用自定义快照仓库。 创建自定义仓库。 除了使用云搜索服务提供的repo_auto之外,客户也可以自己创建一个仓库,接口见如下:
使用ElasticSearch的HLRC(High Level Rest Client)时,报出I/O Reactor STOPPED 问题现象 使用ElasticSearch的HLRC(High Level Rest Client)时,偶现报出I/O Reactor STOPP
startPipeline 停止Pipeline迁移数据 cluster stopPipeline 添加到自定义模板 cluster addFavorite 连通性测试 cluster startConnectivityTest 查询模板列表 cluster listTemplates 查询配置文件列表 cluster
x:9200', 'http://x.x.x.x:9200'], user='xxxxx', password='xxxxx') # 测试索引名称 index_name = "my_index" # 创建索引 create(os_client, index=index_name)
x:9200', 'http://x.x.x.x:9200'], user='xxxxx', password='xxxxx') # 测试索引名称 index_name = "my_index" # 创建索引 create(es_client, index=index_name)
无缝对接FTP/OBS/Hbase/Kafka等多种数据源,仅需简单配置,无需编程。 一键化操作 一键申请集群、一键扩容、一键重启,从小规模测试到大规模上线,所有主要操作都是一键可达。 灵活词库管理 支持自定义词库与拼音分词,支持词库热更新,无需重启,配置即生效。 自定义快照策略
停止pipeline迁移数据 该接口用于停止pipeline迁移数据。 添加到自定义模板 该接口用于添加到自定义模板。 连通性测试 该接口用于连通性测试。 查询模板列表 该接口用于查询模板列表。 查询配置文件列表 查询配置文件列表。 查询pipeline列表 该接口用于查询pipeline列表。
数据保护技术 云搜索服务主要从以下几个方面保障数据和业务运行安全: 网络隔离 整个网络划分为2个平面,即业务平面和管理平面。两个平面采用物理隔离的方式进行部署,保证业务、管理各自网络的安全性。 业务平面:主要是集群的网络平面,支持为用户提供业务通道,对外提供数据定义、索引、搜索能力。
数据导入导出类 Elasticsearch显示CPU使用率高,导致日志无法写入 ECS服务器部署Logstash推送数据到CSS服务报错 ES-Hadoop导数据时报"Could not write all entries"异常
恢复OpenSearch集群数据 将已有的快照,通过恢复快照功能,将备份的集群快照恢复到本集群或其他满足要求的集群中。 约束限制 集群快照会导致CPU、磁盘IO上升等影响,建议在业务低峰期进行操作。 当集群处于“不可用”状态时,快照功能中,除了恢复快照功能外,其他快照信息或功能只能查看,无法进行编辑。
使用OpenSearch搜索数据 本章节为您提供了一个通过OpenSearch集群完成商品搜索的示例,您可以参考此示例来了解云搜索服务,包括创建索引、导入数据、搜索数据等操作。 场景描述 某女装品牌在网上经营电商业务,以前使用传统数据库来为用户提供商品搜索功能,但随着用户数量和业
使用OpenSearch搜索数据 OpenSearch使用流程 OpenSearch集群规划建议 创建OpenSearch集群 访问OpenSearch集群 导入数据至OpenSearch集群 使用OpenSearch集群搜索数据 增强OpenSearch集群搜索能力 配置OpenSearch集群网络
切换OpenSearch集群冷热数据 云搜索服务支持给Elasticsearch集群配置冷数据节点,支持对索引数据进行冷热切换。 场景描述 通过切换冷热数据,可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据,对于历史数据要求分钟级别返回的数据放在大容量低规格节点作为冷
Elasticsearch数据迁移 Elasticsearch集群数据迁移方案介绍 通过华为云Logstash实现Elasticsearch集群间数据迁移 通过备份与恢复实现华为云Elasticsearch集群间数据迁移 通过S3插件备份与恢复迁移自建Elasticsearch集群至华为云