检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录部署了Logstash的服务器,将需要进行操作的数据文件存储至此服务器中。 例如,需要导入的数据文件“access_20181029_log”,文件存储路径为“/tmp/access_log/”,此数据文件中包含的数据如下所示: 文件存储路径中的access_log文件夹如果不存在,用户可以自建。 |
有影响。 问题原因 在Elasticsearch集群中,Elasticsearch会占用50%内存,另外50%内存会被Lucene用于缓存文件,因此节点内存占用会一直很高,平均已用内存比例达到98%是正常现象,请您放心使用。 解决方案 您可以关注“最大JVM堆使用率”和“平均JV
集群管理接口 创建集群 查询集群列表 查询集群详情 删除集群 按需集群转包周期 修改集群名称 修改密码 重启集群 扩容集群 扩容实例的数量和存储容量 变更规格 获取实例规格列表 查询所有标签 查询指定集群的标签 添加指定集群标签 删除集群标签 批量添加或删除集群标签 指定节点缩容
日志采集关闭后,集群中已采集的日志不会被清空,仅当超过采集日志时设置的“保存周期”时才会被删除。 日志文件介绍 Elasticsearch和OpenSearch集群备份的日志文件主要包括废弃操作日志、运行日志、慢索引日志、慢查询日志。 表3 日志文件类型 日志名称 描述 clustername_deprecation
日志采集关闭后,集群中已采集的日志不会被清空,仅当超过采集日志时设置的“保存周期”时才会被删除。 日志文件介绍 Elasticsearch和OpenSearch集群备份的日志文件主要包括废弃操作日志、运行日志、慢索引日志、慢查询日志。 表3 日志文件类型 日志名称 描述 clustername_deprecation
版本升级:Elasticsearch引擎版本支持升级,可参考表1进行按需升级。 集群迁移:Elasticsearch 5.5.1不支持跨版本升级,可以通过集群迁移进行跨版本升级。Logstash引擎版本不支持原地升级,建议先在原集群保存配置文件conf为自定义模板,新建集群后,在新集群的自定义模
支持审计的关键操作列表 表1 支持审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster 按需集群转包周期 cluster updateOndemandClusterToPeriod 查询集群详情 cluster showClusterDetail
支持审计的关键操作列表 表1 支持审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster 按需集群转包周期 cluster updateOndemandClusterToPeriod 查询集群详情 cluster showClusterDetail
务节点实例、存储类型或者带宽类型、使用小时数配额。在使用过程中,系统优先扣减折扣套餐所购买的配额,配额内使用量不再收费,超出配额的使用量以按需计费方式收费。 所购买的集群的区域、节点规格、存储类型或者带宽类型,必须和套餐包购买的匹配,否则无法使用套餐包。 父主题: 计费相关
开启访问日志记录到文件 开启访问日志记录到文件后,客户端访问集群节点,会记录为{集群名_access_log.log}文件,通过日志备份功能可以在OBS详细查看访问日志。 该功能一般用于定位问题,问题解决后,建议关闭此开关。 执行如下命令,开启访问日志记录到文件。 PUT /_cluster/settings
词库管理接口 加载自定义词库 查询自定义词库状态 删除自定义词库 父主题: API
可对“手动续费项”、“到期转按需项”、“到期不续费项”页签的集群开通自动续费。 图2 续费管理 勾选需要开通自动续费一个或多个集群,单击“开通自动续费”。 选择续费时长,并根据需要设置自动续费次数,单击“开通”。 修改自动续费 开通自动续费后,针对包年/包月集群,您可以修改自动续费。按需计费集群不需要续费,只需要保证账户余额充足即可。
志备份功能关闭或集群删除时,失败记录也会被清空。 查看日志文件。 日志备份成功后,用户可以单击“OBS桶”跳转到桶列表,找到存放备份日志的桶查看日志文件。 图1 进入OBS 日志文件介绍 Logstash集群备份的日志文件主要包括废弃操作日志、运行日志。 表2 日志类型信息 日志名称
行跨区域复制OBS桶,再参考备份与恢复索引进行集群迁移。 在跨区域复制之前,要保证目标集群设置的快照文件夹为空,否则无法将快照信息刷新到目标集群的快照列表中。 每次迁移都需要将文件夹置空。 父主题: CSS集群迁移
当用户已完成Logstash数据迁移业务,无需继续使用某一集群时,可删除集群释放资源。 约束限制 删除集群时,会清理集群业务数据,请谨慎操作。 删除按需计费的集群 登录云搜索服务管理控制台。 在左侧导航栏,选择对应的集群类型,进入集群列表界面。 在对应集群的“操作”列中单击“更多>删除”。
2019年11月 序号 功能名称 功能描述 阶段 相关文档 1 新增参数配置功能 参数配置功能支持用户自己修改elasticsearch.yml文件的某些配置,以便实现相对应的功能。如支持跨域访问,集群索引重建等。 商用 参数配置 历史变更 关于云搜索服务(CSS)更多历史版本变更内容,请单击“查看PDF”详细了解。
当集群已开通终端节点服务时,当前账号必须要有删除终端节点的权限,否则集群删除后并不会释放终端节点资源。终端节点的相关权限请参见VPCEP权限管理。 删除按需计费的集群 登录云搜索服务管理控制台。 在左侧导航栏,选择对应的集群类型,进入集群列表界面。 在对应集群的“操作”列中单击“更多>删除”。
当集群已开通终端节点服务时,当前账号必须要有删除终端节点的权限,否则集群删除后并不会释放终端节点资源。终端节点的相关权限请参见VPCEP权限管理。 删除按需计费的集群 登录云搜索服务管理控制台。 在左侧导航栏,选择对应的集群类型,进入集群列表界面。 在对应集群的“操作”列中单击“更多>删除”。
Logstash集群的基础配置 参数 说明 计费模式 集群支持包年/包月和按需计费两种模式。 包年/包月:根据集群购买时长,一次性支付集群费用。最短时长为1个月,最长时长为3年。如果购买时长超过9个月,建议包年购买,价格更优惠。 按需计费:按实际使用时长计费,计费周期为一小时,不足一小时按一小时计费。
Logstash接口 创建配置文件 更新配置文件 启动pipeline迁移数据 停止pipeline迁移数据 添加到自定义模板 连通性测试 查询模板列表 查询配置文件列表 查询pipeline列表 查询操作记录 查询配置文件内容 删除配置文件 删除自定义模板 热启动pipeline迁移数据