检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据保护技术 云搜索服务主要从以下几个方面保障数据和业务运行安全: 网络隔离 整个网络划分为2个平面,即业务平面和管理平面。两个平面采用物理隔离的方式进行部署,保证业务、管理各自网络的安全性。 业务平面:主要是集群的网络平面,支持为用户提供业务通道,对外提供数据定义、索引、搜索能力。
"size": "L"} 获取源数据信息。 当源数据是Oracle数据库时,需要获取Oracle数据库的IP、数据库名、用户名和密码。 当源数据是OBS桶中的JSON数据时,需要获取OBS的访问域名、端口,以及AK、SK。 当源数据是Oracle数据库时,需要确保Oracle可通过
查询结果返回的也是JSON格式的数据。 常用的DSL查询语句 下面列举了常用的DSL查询语句,全量的DSL查询语句请参见《Elasticsearch指南》。 设置查询条件过滤,等同于SQL语言中的where。 如下命令中,查询未在“_search”前面过滤索引,所以是查询所有索引。bool为
String 参数解释: 快照每天执行的时间点。 indices String 参数解释: 要备份的索引。 totalShards Integer 参数解释: 要备份的索引的总shard数。 failedShards Integer 参数解释: 备份失败的shard数。 version String
CSS服务使用的数据压缩算法是什么? 云搜索服务支持的数据压缩算法有两种:一种是Elasticsearch默认的LZ4算法,另一种是best_compression算法。 LZ4算法 LZ4算法是Elasticsearch的默认压缩算法,该算法对数据的解压/压缩效率很快,但压缩率较低一些。
Dashboards上使用开源OpenSearch API导入数据:使用POST命令导入数据。 在ECS服务器上使用开源OpenSearch API导入数据:使用Curl命令导入数据。 在OpenSearch Dashboards上使用开源OpenSearch API导入数据 在OpenSearch
、访问Kibana、查看监控、删除其他快照的操作。不支持重启此集群、删除此集群、删除正在创建或恢复的快照、再次创建或恢复快照的操作。当此集群正在进行创建快照或者恢复快照过程中,同时的自动创建快照任务将被取消。 快照在恢复过程中不可查询集群数据。 当两个集群的shard不一样时,则无法恢复集群数据。
tash服务出现故障的时候,会主动拉起并修复。“保持常驻”不适用于短期运行的业务,因为多次主动拉起logstash服务会导致数据迁移重复。 names 是 Array of strings 配置文件名称。 响应参数 无 请求示例 启动pipeline迁移数据。 POST /v1.
查询结果返回的也是JSON格式的数据。 常用的DSL查询语句 下面列举了常用的DSL查询语句,全量的DSL查询语句请参见《Elasticsearch指南》。 设置查询条件过滤,等同于SQL语言中的where。 如下命令中,查询未在“_search”前面过滤索引,所以是查询所有索引。bool为
快照命名前缀,需要用户自己手动输入。 bucket String 参数解释: 快照存放的OBS桶的桶名。 basePath String 参数解释: 快照在OBS桶中的存放路径。 agency String 参数解释: 访问OBS桶用到的委托。 enable String 参数解释: 是否开启自动创建快照策略。
dex的所有索引的数据。 说明: 在Kibana中使用GET /_cat/indices命令,可以查询集群中所有索引的名称。 图1 自动创建快照 确定要设置当前选择的自动备份策略,请在输入框输入“CONFIRM”,设置完成后,单击“确定”保存快照策略。 按照策略自动创建的快照将呈
使用Logstash迁移数据 Logstash是一款收集、转换、清洗、解析数据的工具,本章节为您提供了一个使用Logstash集群完成Elasticsearch集群间数据迁移的示例,您可以参考此示例来了解Logstash服务,包括创建集群、导入导出数据、任务配置等操作。 视频介绍
适用于大规模数据迁移:快照备份适用于数据量大的场景,特别是当数据量达到GB、TB甚至PB级别时。 恢复过程可控:在恢复数据时,可以选择恢复特定索引或全部索引,并且可以指定恢复到特定的集群状态。 性能影响 使用备份与恢复迁移集群的核心在于直接复制数据存储层的文件以实现数据备份,该方案
、访问Kibana、查看监控、删除其他快照的操作。不支持重启此集群、删除此集群、删除正在创建或恢复的快照、再次创建或恢复快照的操作。当此集群正在进行创建快照或者恢复快照过程中,同时的自动创建快照任务将被取消。 快照在恢复过程中不可查询集群数据。 当两个集群的shard不一样时,则无法恢复集群数据。
存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能,将历史数据存储到OBS中降低数据的存储成本。 场景描述 存算分离是通过冻结索引将历史数据转储到OBS,以此降低数据的存储成本。 对于有海量数据写入和存储的场景,数据有明显的冷热区分,新写入的数据一般属于热数据,存储在SSD
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
导入性能的影响。索引merge任务优化可以增加shard的合并线程数,减少合并对数据导入的限流。 索引merge任务优化 约束限制 仅Elasticsearch 7.10.2集群和OpenSearch 1.3.6集群支持数据导入性能增强。 前提条件 待增强数据导入性能的集群处于“可用”状态。
准。 查询日志 登录云搜索服务管理控制台。 在“集群管理”页面,单击需要查询日志的集群名称,进入集群基本信息页面。 左侧导航栏,选择“日志管理”。 在日志管理页面进行日志查询。 选择需要查询的节点、日志类型和日志级别信息后,单击,显示查询结果。 查询日志时,是从最近时刻的1万条日
读写分离支持将写入主集群(Leader)的数据自动同步到从集群(Follower),实现主集群承担写入任务,从集群承担查询任务。读写分离可以将读写压力分开,提高查询的性能。当主集群无法提供服务时,可以通过主从切换使用从集群提供写入和查询服务,保证业务可以正常进行。 图1 读写分离特性的两种使用场景 场景
集群索引插入数据失败 问题现象 向CSS集群索引中插入数据失败,报错如下: 问题分析 当磁盘的使用率超过95%时,Elasticsearch为了防止节点耗尽磁盘空间,自动将索引设置为只读模式。 解决方案 新版本(7.10.2之后)集群磁盘使用率下降后会自动关闭只读模式,只需清理或扩容磁盘。