检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置 数据集成 数据采集 目录定制
升级组件控制器 操作场景 租户采集原组件控制器采用salt方案,考虑到业务的发展,在设计上采用了agent的方式,需要将原有agent进行升级操作,即将租户采集salt-minion升级到isap-agent。 升级不影响数据面。 升级前准备 租户采集鉴权采用IAM鉴权,因此,需
在左侧导航栏选择“资产管理 > 资产管理”,进入资产管理页面。 图2 资产管理 在资产管理页面中,单击页面右上角“资产订阅设置”,右侧弹出资产订阅设置页面。 在订阅资产设置页面中,在需要订阅资产所在的region所在行“是否开通”列开启订阅。 单击页面右下角的“确认”。 订阅后,资产信息将在一分钟内同步展示。
节点的名称/ID。 健康状态 节点的健康状态。 区域 节点所在区域。 IP地址 节点的IP地址。 CPU使用率 节点的CPU使用率。 内存使用率 节点的内存使用率。 磁盘使用率 节点的磁盘使用率。 网络速率 节点的网络速率。 标签 节点的标签信息。 心跳过期失联标识 节点是否心跳过期失联。
管理解析器 管理采集通道 查看采集节点信息 管理节点和组件 磁盘分区 Logtash组件配置项说明 连接器规则说明 解析器规则说明 升级组件控制器 父主题: 设置
在左侧导航栏选择“工作空间 > 空间管理”,并在工作空间列表中,单击目标工作空间名称,进入目标工作空间管理页面。 图1 进入目标工作空间管理页面 在左侧导航栏选择“设置 > 组件管理”,进入节点管理页面后,选择“组件管理”页签,进入组件管理页面。 图2 进入组件管理页面 在组件管理页面中,单击待查看组件右
nux系统X86架构的ECS主机上。 安装组件控制器时,在控制台中查看信息时,仅支持使用IAM账号登录,且需要进行权限设置,具体操作请参见新增节点前准备。 采集器规格 采集管理中,选作为节点的云服务器规格说明如下表所示: 表1 采集器规格 CPU内核数 内存大小 系统盘 数据盘 参考处理能力
节点的名称/ID。 健康状态 节点的健康状态。 区域 节点所在区域。 IP地址 节点的IP地址。 CPU使用率 节点的CPU使用率。 内存使用率 节点的内存使用率。 磁盘使用率 节点的磁盘使用率。 网络速率 节点的网络速率。 标签 节点的标签信息。 心跳过期失联标识 节点是否心跳过期失联。
“故障”,并且该服务器的CPU使用率或内存使用率即将达到100%。 图1 采集节点故障 图2 采集通道故障 可能原因 用户配置的连接器或解析器在语法或者语义上存在错误,导致采集器无法正常运行,不断重启导致CPU、内存被占满。 问题定位 远程登录采集节点所在的ECS。 您可以登录弹
但同理,内存开销也会增大,可以在jvm.options中配置增加堆空间。 pipeline.workers int pipeline中的worker线程数配置,默认是CPU的核数。 pipeline.batch.delay int 设置当前pipe提交延迟时间,设置此时间可以提升消息提交次数,提升系统消耗。
单击管理控制台左上角的,选择区域和项目。 在页面左上角单击,选择“计算 > 弹性云服务器”,并在弹性云服务器列表中,单击当前安装isap-agent的ECS名称,进入ECS详情页面。 选择“云硬盘”页签,进入云硬盘页面后,单击“新增磁盘”。 在购买云硬盘页面,购买一个“磁盘规格”容量为“100GB”的磁盘。 云硬盘的购买参数信息配置请参考购买云硬盘。
-h命令,检查磁盘/opt目录下是否预留100GB以上的磁盘空间,CPU核数需要2核以上,内存需要4GB以上。 图1 检查磁盘 如果内存不足,请关闭一些高内存占用的应用程序或扩充内存容量后再进行安装。扩容操作详情请参见变更服务器规格。 为了磁盘/opt目录下有超过100GB的剩余磁盘空间,可以采用分盘
见目的连接器。 设置完成后,单击页面右下角“确认”。 编辑数据连接 数据连接新增成功后,仅支持对已选择的数据源类型的参数信息进行修改,不支持变更数据源类型。 例如,新增数据连接时选择的数据源类型为“文件(File)”,仅支持对文件类型中的参数进行修改,不支持变更“文件(File)”类型。
进入目标工作空间管理页面 在左侧导航栏选择“设置 > 目录定制”,进入目录定制页面。 图4 进入目录定制页面 单击目标目录所在行“操作”列的“更换布局”,弹出更换布局页面。 在更换布局页面中,选择需要替换的布局。 单击“确定”。 父主题: 设置
在左侧导航栏选择“工作空间 > 空间管理”,并在工作空间列表中,单击目标工作空间名称,进入目标工作空间管理页面。 图1 进入目标工作空间管理页面 在左侧导航栏选择“设置 > 采集管理”,进入采集管理页面后,选择“采集通道管理”页签,进入采集通道管理页面。 图2 进入采集通道管理页面 在采集通道管理页面中,查看采集通道的详细信息。
在左侧导航栏选择“工作空间 > 空间管理”,并在工作空间列表中,单击目标工作空间名称,进入目标工作空间管理页面。 图1 进入目标工作空间管理页面 在左侧导航栏选择“设置 > 采集管理”,默认进入连接管理页面。 图2 进入连接管理页面 在连接管理页面中,查看连接管理的详细信息。 表1 连接管理参数说明 参数名称
是否使用CMS垃圾回收器回收采集器运行时堆内存生成的对象 -Xmn string 1024M 采集器堆内存中年轻代占用的大小,如果采集压较大力时,可适当调整,年轻代空间越大,内存回收次数越少,采集效率越高。Xmn必须小于等于Xmx -Xmx string 2048M 采集器堆空间的最大值,合理设置这个参数可以
报文标签 记忆路径 sincedb_path string /opt/cloud/logstash/pipeline/file_name 否 用于设置读取的位置信息,防止重启导致的全文遍历 表5 kafka连接器配置规则 规则 对应logstash配置项 类型 默认值 是否必填 描述 服务地址
数据集成 支持接入的云服务日志 接入日志数据 父主题: 设置
参数说明 基本信息 名称 设置解析器名称。 描述 输入解析器描述信息。 规则列表 设置解析器解析规则。操作步骤如下: 单击“添加”,并选择规则类型。 解析规则:选择解析器的解析规则,详细参数说明请参见解析器规则说明。 条件控制:选择解析器的条件控制原则。 设置完成后,单击页面右下角“确定”。