检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
算分离 方案概述 CSS支持存算分离,即将索引冻结到OBS来降低冷数据的存储成本。本文介绍如何使用索引生命周期管理,在特定的时间自动冻结索引,实现存算分离。 本案例通过配置生命周期策略,实现索引在创建3天后,自动被冻结,数据转储到OBS中;当索引创建7天后,删除该索引。 图1 存算分离
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
预构建之前,需要通过聚类或者随机采样得到所有的中心点向量。通过预构建和注册将中心点向量预构建成GRAPH或者GRAPH_PQ索引,同时注册到CSS集群内,实现在多个节点间共享此索引文件。中心点索引在shard间复用能够有效减少训练的开销、中心点索引的查询次数,提升写入以及查询的性能。
预构建之前,需要通过聚类或者随机采样得到所有的中心点向量。通过预构建和注册将中心点向量预构建成GRAPH或者GRAPH_PQ索引,同时注册到CSS集群内,实现在多个节点间共享此索引文件。中心点索引在shard间复用能够有效减少训练的开销、中心点索引的查询次数,提升写入以及查询的性能。
Shard下的实际存储索引的一个副本。可以理解为备份Shard。副本的存在可以预防单节点故障。使用过程中,您可以根据业务情况增加或减少Replica数量。 文档 Elasticsearch存储的实体,是可以被索引的基本单位,相当于关系型数据库中的行。 文档类型 类似关系型数据库中的表,用于区分不同的数据。
登录部署了Logstash的服务器,将需要进行操作的数据文件存储至此服务器中。 例如,需要导入的数据文件“access_20181029_log”,文件存储路径为“/tmp/access_log/”,此数据文件中包含的数据如下所示: 文件存储路径中的access_log文件夹如果不存在,用户可以自建。
STOPPED。排查ElasticSearch日志,未有报错。 I/O Reactor STOPPED是什么问题? 首先根据调用栈可以定位到报错来自CloseableHttpAsyncClientBase中的90行,如下图所示: ensureRunning()方法是在每次请求执行
ch集群(目标集群)的迁移流程如图1所示。 备份第三方Elasticsearch数据到第三方共享存储仓库上。 通过华为云OMS迁移共享存储仓库上的数据到华为云OBS上。 通过华为OBS恢复数据到华为云Elasticsearch。 方案优势 易于操作和管理:使用Elasticsea
使用开源Elasticsearch API导入数据到Elasticsearch 云搜索服务支持在Kibana或者ECS服务器上使用开源Elasticsearch API将数据导入到Elasticsearch集群中,数据文件支持JSON等格式。 在Kibana上使用开源Elasticsearch
登录部署了Logstash的服务器,将需要进行操作的数据文件存储至此服务器中。 例如,需要导入的数据文件“access_20181029_log”,文件存储路径为“/tmp/access_log/”,此数据文件中包含的数据如下所示: 文件存储路径中的access_log文件夹如果不存在,用户可以自建。
* 节点存储 磁盘存储类型和存储大小。您可以根据具体的业务场景选择对应的磁盘类型,不同的磁盘类型收费标准不一样。云搜索服务提供了多种磁盘类型: 普通I/O 高I/O 超高I/O 包年/包月、按需计费 节点存储单价 * 购买时长 云硬盘单价请参见云搜索服务价格计算器中的“存储价格”。
Tools”,进入操作页面。 在OpenSearch Dashboards操作页面设置template,通过设置集群模板将相应的索引数据存储到冷热数据节点上。 例如,执行如下命令设置template将以“myindex”开头的索引存储到冷数据节点上。 PUT _template/test {
添加Master或Client节点 约束限制 集群的节点存储容量只支持扩容不支持缩容,请基于业务量合理选择节点存储容量。 包周期集群不支持同时扩容“节点数量”和“节点存储容量”。 集群的Master节点和Client节点的存储容量不支持扩容。 当一个集群包含的节点类型不同时,各节点
添加Master或Client节点 约束限制 集群的节点存储容量只支持扩容不支持缩容,请基于业务量合理选择节点存储容量。 包周期集群不支持同时扩容“节点数量”和“节点存储容量”。 集群的Master节点和Client节点的存储容量不支持扩容。 当一个集群包含的节点类型不同时,各节点
CSS服务中Kibana是否支持导出数据功能? Elasticsearch 7.6.2、7.9.3和7.10.2版本(镜像版本号小于24.3.0)的Kibana导出数据需要依赖SQL Workbench插件。 在Kibana的“SQL Workbench”里,输入Elasticsearch
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
ECS服务器部署Logstash推送数据到CSS服务报错 问题现象 ECS服务器部署logstash,然后推送数据到云搜索服务CSS,出现错误信息如下: LogStash::Outputs::ElasticSearch::HttpClient::Pool::BadResponseCodeError:
审计与日志 审计 云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录CSS服务的操作事件用于审计。
Tools”,进入操作页面。 在Kibana操作页面设置template,通过设置集群模板将相应的索引数据存储到冷热数据节点上。 例如,执行如下命令设置template将以“myindex”开头的索引存储到冷数据节点上。 Elasticsearch版本<6.x的创建模板命令 PUT _template/test
选择“集群管理 > Elasticsearch”,进入集群列表页面。 单击集群名称进入集群“基本信息”页面,集群配置信息中“集群存储使用量”与“集群存储容量”的比值,即集群总磁盘使用率。 图1 集群基本信息 父主题: CSS集群监控与运维