检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的http请求ES-Hadoop是有重试机制的,可修改以下参数: “es.batch.write.retry.count”:默认重试3次。 “es.batch.write.retry.wait”:每次重试等待时间10s。 如果对查询的实时性级别要求不高的话,可以调整下分片刷新的时
更新集群路由 功能介绍 该接口用于更新集群路由。 修改集群路由时,可能导致业务网络异常,影响Logstash和数据源之间的网络连接,请谨慎操作。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/route
客户端采用批量数据的写入方式,每次批量写入的数据建议在1~10MB之间。 随机生成_id 如果采用指定_id的写入方式,数据写入时会先触发一次查询操作,进而影响数据写入性能。对于不需要通过_id检索数据的场景,建议使用随机生成的_id。 设置合适的分片数 分片数建议设置为集群数据节点的倍数,且分片的大小控制在50GB以内。
CSS服务使用的数据压缩算法是什么? 云搜索服务支持的数据压缩算法有两种:一种是Elasticsearch默认的LZ4算法,另一种是best_compression算法。 LZ4算法 LZ4算法是Elasticsearch的默认压缩算法,该算法对数据的解压/压缩效率很快,但压缩率较低一些。
处理步骤 删除logstash中的x-pack目录。 修改logstash配置文件output标签下elasticsearch内添加配置项ilm_enabled => false。 重新尝试推送数据到es。 父主题: 数据导入导出类
redis 从redis数据库导入数据到Elasticsearch类型集群。 redis模板说明 elasticsearch 从Elasticsearch类型集群导入数据到Elasticsearch类型集群。 elasticsearch模板说明 jdbc 从jdbc导入数据到Elasticsearch类型集群。
内部安全基础设施(包括网络防火墙、入侵检测和防护系统)可以监视通过IPsec VPN连接进入或退出VPC的所有网络流量。 数据安全 在云搜索服务中,通过多副本、集群跨az部署、索引数据第三方(OBS)备份功能保证用户的数据安全。 父主题: 产品咨询
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能,将历史数据存储到OBS中降低数据的存储成本。 场景描述 存算分离是通过冻结索引将历史数据转储到OBS,以此降低数据的存储成本。 对于有海量数据写入和存储的场景,数据有明显的冷热区分,新写入的数据一般属于热数据,存储在SSD中
数据量很大,如何进行快照备份? 如果快照数据量极大,快照备份要超过一天时,可参考如下方法进行优化。 快照备份的时候指定索引,比如先分批,默认是*,将会备份所有的索引。 使用自定义快照仓库。 创建自定义仓库。 除了使用云搜索服务提供的repo_auto之外,客户也可以自己创建一个仓库,接口见如下:
自动备份是将集群的索引数据进行备份。索引的备份是通过创建集群快照实现,第一次备份时,建议将所有索引数据进行备份。 云搜索服务支持将ES实例的快照数据保存到对象存储(OBS)服务中,借助OBS的跨region复制功能,可实现数据的跨region备份。 恢复数据(恢复快照) 当数据发生丢失或者
下线单节点后,剩余节点能够包含集群的所有数据。 数据副本 系统检查 检测集群中索引的最大主备分片数是否能够分配到剩余数据节点和冷数据节点中,防止升级过程中出现节点下线后副本无法分配的情况。 索引的主备分片数的最大值+1 ≤ 升级前的数据节点数和冷数据节点之和 数据备份 系统检查 升级前要做好数据备份,防止升
资源实例:选择要查看监控信息的集群,默认选择当前集群。支持多选,进行数据对比。 支持设置监控时间,以及查看同一集群的同比/环比数据。 添加视图分组:支持在默认分组的基础上新增自定义的分组。当鼠标悬停在左侧分组名称上,右侧会显示修改名称和删除分组的图标,可以修改分组。 设置指标:在“设置监控指标”弹窗中,
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
资源实例:选择要查看监控信息的集群,默认选择当前集群。支持多选,进行数据对比。 支持设置监控时间,以及查看同一集群的同比/环比数据。 添加视图分组:支持在默认分组的基础上新增自定义的分组。当鼠标悬停在左侧分组名称上,右侧会显示修改名称和删除分组的图标,可以修改分组。 设置指标:在“设置监控指标”弹窗中,
开始记录用户对云服务资源的操作,创建数据类追踪器后,系统会开始记录用户对OBS桶中数据的操作。云审计服务管理控制台会保存最近7天的操作记录。 当需要在云审计服务管理控制台查看或导出最近7天的操作记录时,请参见查询审计事件。 父主题: 使用OpenSearch搜索数据
求。 冷数据节点(ess-cold) 冷数据节点用于存储对查询时延要求不高,但数据量较大的历史数据,是管理大规模数据集和优化存储成本的有效方式。 需要存储大量历史数据:当需要存储大量不常访问但对分析有用的历史数据时,使用冷数据节点可以提供成本效益较高的存储解决方案。 需要优化热数
OpenSearch集群访问方式 导入数据 OpenSearch集群提供多种数据导入方式,包括Logstash、开源Elasticsearch API、云数据迁移服务CDM和数据复制服务DRS,支持不同来源和格式的数据导入,以及针对关系型数据库的实时同步,用户可根据业务场景和数据特性选择最佳方法。 OpenSearch集群导入数据方式
始记录用户对云服务资源的操作,创建数据类追踪器后,系统会开始记录用户对OBS桶中数据的操作。云审计服务管理控制台会保存最近7天的操作记录。 当需要在云审计服务管理控制台查看或导出最近7天的操作记录时,请参见查询审计事件。 父主题: 使用Elasticsearch搜索数据
下场景: 当集群数据节点(ess)的写入与查询压力大、响应时间过长时,可以通过扩容数据节点的“节点存储容量”保证数据的持久性。如果因数据量过大或操作不当导致数据节点状态异常时,可以扩容“节点数量”保证集群的可用性。 冷数据节点(ess-cold)主要用于分担数据节点(ess)的压