检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Logstash接口 创建配置文件 更新配置文件 启动pipeline迁移数据 停止pipeline迁移数据 添加到自定义模板 连通性测试 查询模板列表 查询配置文件列表 查询pipeline列表 查询操作记录 查询配置文件内容 删除配置文件 删除自定义模板 热启动pipeline迁移数据
云搜索服务支持通过云数据迁移服务CDM的向导式界面,将存储在Oracle数据库或对象存储服务OBS中的数据导入到Elasticsearch或OpenSearch集群中,数据文件支持JSON格式。 表1 使用CDM导入数据至CSS服务 数据导入场景 源数据 目标集群 将Oracle数据库的数据导入到CSS服务 本地或第三方Oracle数据库
云搜索服务支持通过云数据迁移服务CDM的向导式界面,将存储在Oracle数据库或对象存储服务OBS中的数据导入到Elasticsearch或OpenSearch集群中,数据文件支持JSON格式。 表1 使用CDM导入数据至CSS服务 数据导入场景 源数据 目标集群 将Oracle数据库的数据导入到CSS服务 本地或第三方Oracle数据库
登录即将接入集群的弹性云服务器ECS。 弹性云服务器的使用指导请参见快速购买和使用Linux ECS。 将JSON数据文件上传至ECS。 例如,将如下数据保存为json格式的文件,上传到ECS。 {"index": {"_index":"my_store"}} {"productName":
登录即将接入集群的弹性云服务器ECS。 弹性云服务器的使用指导请参见快速购买和使用Linux ECS。 将JSON数据文件上传至ECS。 例如,将如下数据保存为json格式的文件,上传到ECS。 Elasticsearch版本<7.x的数据 {"index": {"_index":"my_store"
/_vector/stats 在向量插件实现中,向量索引与Lucene其他类型索引一样,每一个segment构造并存储一份索引文件,在查询时,该索引文件会被加载到堆外内存中。插件使用缓存机制对这些堆外内存进行管理。上述API能够查询当前堆外内存使用量、缓存命中次数、加载次数等信息。
/_vector/stats 在向量插件实现中,向量索引与Lucene其他类型索引一样,每一个segment构造并存储一份索引文件,在查询时,该索引文件会被加载到堆外内存中。插件使用缓存机制对这些堆外内存进行管理。上述API能够查询当前堆外内存使用量、缓存命中次数、加载次数等信息。
keystore”结尾,可以包含字母、数字、中划线、下划线或者小数点,不能包含其他的特殊字符。 证书上传数量不超过50个。 证书文件大小不能超过1M。 登录对象存储服务管理控制台,将自定义证书上传至OBS桶,具体操作请见上传文件。 登录云搜索服务管理控制台。 在左侧导航栏选择“集群管理 > Logstash”,进入集群列表页面。
群)的迁移流程如图1所示。 备份第三方Elasticsearch数据到第三方共享存储仓库上。 通过华为云OMS迁移共享存储仓库上的数据到华为云OBS上。 通过华为OBS恢复数据到华为云Elasticsearch。 方案优势 易于操作和管理:使用Elasticsearch自带的快照
创建用于数据同步的Logstash配置文件。 在Logstash集群的配置中心页面,单击右上角“创建”,进入创建配置文件页面,编辑配置文件。 表1 创建配置文件 参数 说明 名称 自定义配置文件名称。 只能包含字母、数字、中划线或下划线,且必须以字母开头。必须大于等于4个字符。 配置文件内容 参考下面的代码示例开发配置文件内容。
开启访问日志记录到文件 开启访问日志记录到文件后,客户端访问集群节点,会记录为{集群名_access_log.log}文件,通过日志备份功能可以在OBS详细查看访问日志。 该功能一般用于定位问题,问题解决后,建议关闭此开关。 执行如下命令,开启访问日志记录到文件。 PUT /_cluster/settings
获取集群路由 cluster getRoutes 上传证书文件 cluster uploadCerts 查询证书列表 cluster listCerts 查询证书文件信息 cluster showCertsDetail 删除证书文件 cluster deleteCerts 开启日志功能
登录部署了Logstash的服务器,将需要进行操作的数据文件存储至此服务器中。 例如,需要导入的数据文件“access_20181029_log”,文件存储路径为“/tmp/access_log/”,此数据文件中包含的数据如下所示: 文件存储路径中的access_log文件夹如果不存在,用户可以自建。 |
响应Body参数 参数 参数类型 描述 - File 文件流 请求示例 下载安全证书。 GET https://{Endpoint}/v1.0/{project_id}/cer/download 响应示例 状态码: 200 请求已成功,返回文件流。 "Certificate:xxxx" SDK代码示例
登录部署了Logstash的服务器,将需要进行操作的数据文件存储至此服务器中。 例如,需要导入的数据文件“access_20181029_log”,文件存储路径为“/tmp/access_log/”,此数据文件中包含的数据如下所示: 文件存储路径中的access_log文件夹如果不存在,用户可以自建。 |
有影响。 问题原因 在Elasticsearch集群中,Elasticsearch会占用50%内存,另外50%内存会被Lucene用于缓存文件,因此节点内存占用会一直很高,平均已用内存比例达到98%是正常现象,请您放心使用。 解决方案 您可以关注“最大JVM堆使用率”和“平均JV
配置Logstash集群路由 配置Logstash迁移任务 通过Logstash集群的配置中心,可以创建并启动Logstash配置文件,以实现数据从不同数据源到目的端的迁移。 创建Logstash配置文件 启动Logstash迁移任务 运维 扩缩容 CSS服务提供灵活的扩容和缩容功能,支持增加节点数量、升级
自定义插件,则需要在插件管理界面上传目标版本的所有插件包,升级过程中才能将自定义插件转入新节点中,否则集群升级成功后,自定义插件将丢失。升级任务启动后,系统会自动检查是否已经上传自定义插件包,但是上传的插件包是否正确需要人工检查。 说明: 如果上传的插件包不正确或者不兼容将导致升
日志采集关闭后,集群中已采集的日志不会被清空,仅当超过采集日志时设置的“保存周期”时才会被删除。 日志文件介绍 Elasticsearch和OpenSearch集群备份的日志文件主要包括废弃操作日志、运行日志、慢索引日志、慢查询日志。 表3 日志文件类型 日志名称 描述 clustername_deprecation
日志采集关闭后,集群中已采集的日志不会被清空,仅当超过采集日志时设置的“保存周期”时才会被删除。 日志文件介绍 Elasticsearch和OpenSearch集群备份的日志文件主要包括废弃操作日志、运行日志、慢索引日志、慢查询日志。 表3 日志文件类型 日志名称 描述 clustername_deprecation