检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录部署了Logstash的服务器,将需要进行操作的数据文件存储至此服务器中。 例如,需要导入的数据文件“access_20181029_log”,文件存储路径为“/tmp/access_log/”,此数据文件中包含的数据如下所示: 文件存储路径中的access_log文件夹如果不存在,用户可以自建。
在目标集群查询集群的自动同步状态,同步周期默认是30秒。 执行如下命令,获取匹配索引的同步状态。 GET auto_sync/stats 当返回结果中,“failed_count”为“0”时,表示同步完成。 集群同步完成后,检查目标Elasticsearch集群和源集群数据的一致性。 例如,分别在
rch集群中写入数据的流程。图中的P表示主分片Primary,R表示副本分片Replica,主副分片在数据节点Node里是随机分配的,但是不能在同一个节点里。 客户端向Node1发送写数据请求,此时Node1为协调节点。 节点Node1根据数据的_id将数据路由到分片2,此时请求会被转发到Node3,并执行写操作。
h运行一段时间就会出现Connection reset by peer,TCP连接中断,业务数据写入失败。 原因分析 连接关闭有很多原因,是Elasticsearch服务器端不能完全控制的。例如,有可能关闭了连接,有可能有防火墙,交换机,VPN等,也有可能是keepalive设置
-date, Signature=**************** { "user": { "domain_id": "accountid", "name": "username", "password":
创建CSS的Elasticsearch集群用户并授权 云搜索服务 CSS 扩容Elasticsearch集群 05:46 扩容Elasticsearch集群的节点数量和存储容量,增加节点类型 云搜索服务 CSS 使用Logstash迁移数据 07:32 使用Logstash集群完成Elasticsearch集群间数据迁移
据提取的特征向量数据进行最近邻或近似近邻检索。详情请参见向量检索。 存算分离 云搜索服务提供冻结索引API,支持将存储在SSD的热数据转储到OBS中以降低数据的存储成本,实现存算分离。详情请参见存算分离。 流量控制 云搜索服务支持流量控制,提供节点级别的流量控制功能,可提供单个节
单击操作列的“接受”或者“拒绝”可以修改节点的“状态”。如果对某个终端节点“拒绝”操作之后,其生成的内网域名将不能再访问到当前集群。 关闭终端节点服务 关闭终端节点后,将无法通过该节点的IP地址或内网域名访问集群。当关闭集群的终端节点后再重新打开,终端节点的IP地址或内网域名可能会发生变化,请谨慎操作。
单击操作列的“接受”或者“拒绝”可以修改节点的“状态”。如果对某个终端节点“拒绝”操作之后,其生成的内网域名将不能再访问到当前集群。 关闭终端节点服务 关闭终端节点后,将无法通过该节点的IP地址或内网域名访问集群。当关闭集群的终端节点后再重新打开,终端节点的IP地址或内网域名可能会发生变化,请谨慎操作。
集群间数据迁移 通过备份与恢复实现华为云Elasticsearch集群间数据迁移:仅适用于源集群和目标集群都是CSS服务的集群,且依赖对象存储服务OBS。 通过S3插件备份与恢复迁移自建Elasticsearch集群至华为云:通过S3插件可以实现自建Elasticsearch集群
规划集群 在创建OpenSearch集群前,需要先完成集群规划。规划时,应考虑是否多可用区部署以提高集群的高可用性,合理配置集群的节点类型与节点存储规格,以及根据业务需求选择适当的集群版本和安全模式,同时注意索引分片的优化,以确保集群的稳定性和性能。 OpenSearch集群规划建议 创建集群
Elasticsearch 7.10.2版本(镜像版本号大于或等于7.10.2_24.3.3_*)的Kibana支持一键导出CSV格式的数据。 导出的数据不能超过10MB,当数据超过10M时,仅导出前面10M数据。 当数据中存在“=+-@”等特殊字符时,如果导出CSV格式的数据,特殊字符可能会被识别为公式,导致数据异常。
风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 项目 区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行
账号具备所有接口的调用权限,如果使用账号下的IAM用户发起API请求时,该IAM用户必须具备调用该接口所需的权限,否则,API请求将调用失败。每个接口所需要的权限,与各个接口所对应的授权项相对应,只有发起请求的用户被授予授权项所对应的策略,该用户才能成功调用该接口。 支持的授权项
文以及特殊字符“_ . : = + - @”。不能以空格开头和结尾。 不能为空。 标签值 长度不超过64个字符。 只能包含数字、英文字母、下划线、中划线、中文以及特殊字符“_ . : = + - @/”。不能以空格开头和结尾。 不能为空。 通过标签搜索集群 登录云搜索服务管理控制台。
文以及特殊字符“_ . : = + - @”。不能以空格开头和结尾。 不能为空。 标签值 长度不超过64个字符。 只能包含数字、英文字母、下划线、中划线、中文以及特殊字符“_ . : = + - @/”。不能以空格开头和结尾。 不能为空。 通过标签搜索集群 登录云搜索服务管理控制台。
文以及特殊字符“_ . : = + - @”。不能以空格开头和结尾。 不能为空。 标签值 长度不超过64个字符。 只能包含数字、英文字母、下划线、中划线、中文以及特殊字符“_ . : = + - @/”。不能以空格开头和结尾。 不能为空。 通过标签搜索集群 登录云搜索服务管理控制台。
Logstash集群通过配置文件定义迁移方案,从不同的数据源(input)迁移数据到不同的目的端(output)。 约束限制 创建的配置文件大小不能超过100k。 Logstash集群允许最多配置50个配置文件,最多可以同时存在5个“状态”为“校验中”的配置文件。 前提条件 创建配置文
会触发logstash进程恢复机制,将工作中的管道状态置为恢复中,若十分钟内重新拉起logstash进程,管道状态恢复为工作中,否则置为失败状态。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/reboot
X-pack参数配置导致集群不可用 问题现象 “集群状态”为“不可用”,集群的“任务状态”为“配置错误,重启失败”。 图1 集群配置错误 原因分析 集群可能配置了X-pack相关的自定义参数导致集群不可用。CSS服务不支持X-pack功能。 处理步骤 在集群管理页面,单击不可用的集群名称,进入集群基本信息页面。