检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置 数据集成 数据采集 目录定制
参数说明 基本信息 名称 设置解析器名称。 描述 输入解析器描述信息。 规则列表 设置解析器解析规则。操作步骤如下: 单击“添加”,并选择规则类型。 解析规则:选择解析器的解析规则,详细参数说明请参见解析器规则说明。 条件控制:选择解析器的条件控制原则。 设置完成后,单击页面右下角“确定”。
在左侧导航栏选择“资产管理 > 资产管理”,进入资产管理页面。 图2 资产管理 在资产管理页面中,单击页面右上角“资产订阅设置”,右侧弹出资产订阅设置页面。 在订阅资产设置页面中,在需要订阅资产所在的region所在行“是否开通”列开启订阅。 单击页面右下角的“确认”。 订阅后,资产信息将在一分钟内同步展示。
节点需要使用到的连接域名和鉴权参数。 作用:用于在安全编排的流程执行过程中,每个插件节点运行时,传入需要连接的域名信息,以及在访问该域名时,需要使用到的用户鉴权信息,如用户名/密码、账号AK/SK等。 资产连接与插件的关系:每个插件在运行过程中,需要通过域名调用的方式访问其他云服
报文标签 记忆路径 sincedb_path string /opt/cloud/logstash/pipeline/file_name 否 用于设置读取的位置信息,防止重启导致的全文遍历 表5 kafka连接器配置规则 规则 对应logstash配置项 类型 默认值 是否必填 描述 服务地址
状态码 正常 返回值 说明 200 成功。 201 成功。 异常 状态码 编码 说明 400 Bad Request 参数错误。 401 Unauthorized 认证失败。 403 Forbidden 拒绝访问。 500 Internal Server Error 系统内部错误。
图3 进入目标工作空间管理页面 在左侧导航栏选择“设置 > 采集管理”,默认进入连接管理页面。 图4 进入连接管理页面 在连接管理页面中,单击目标连接所在行“操作”列的“编辑”。 在编辑数据连接页面中,编辑数据源类型信息参数信息。 设置完成后,单击页面右下角“确认”。 相关操作 用户
进入目标工作空间管理页面 在左侧导航栏选择“设置 > 目录定制”,进入目录定制页面。 图4 进入目录定制页面 单击目标目录所在行“操作”列的“更换布局”,弹出更换布局页面。 在更换布局页面中,选择需要替换的布局。 单击“确定”。 父主题: 设置
在左侧导航栏选择“工作空间 > 空间管理”,并在工作空间列表中,单击目标工作空间名称,进入目标工作空间管理页面。 图1 进入目标工作空间管理页面 在左侧导航栏选择“设置 > 组件管理”,进入节点管理页面后,选择“组件管理”页签,进入组件管理页面。 图2 进入组件管理页面 在组件管理页面中,单击待查看组件右
在左侧导航栏选择“工作空间 > 空间管理”,并在工作空间列表中,单击目标工作空间名称,进入目标工作空间管理页面。 图1 进入目标工作空间管理页面 在左侧导航栏选择“设置 > 采集管理”,默认进入连接管理页面。 图2 进入连接管理页面 在连接管理页面中,查看连接管理的详细信息。 表1 连接管理参数说明 参数名称
设置生命周期。 系统默认存储数据7天,您可以根据需要进行设置。 设置是否自动转告警。 在待设置云产品的“自动转告警”列,单击,开启接入的云服务日志满足告警条件时,自动转为告警,并且在“告警管理”页面中进行展示。 如果此处未开启自动转告警,在对应日志满足告警条件时,将不会转为告警,也不会在“告警管理”页面中进行展示。
int pipeline中的worker线程数配置,默认是CPU的核数。 pipeline.batch.delay int 设置当前pipe提交延迟时间,设置此时间可以提升消息提交次数,提升系统消耗。 移除节点:节点添加后,如需移除,请在节点列表中,单击目标节点所在行“操作”列的“移除”按钮,已添加节点将被移除。
在创建用户组页面,设置用户组名称和描述信息。 用户组名称:请设置为“租户采集用户组”。 描述:自定义描述信息即可。 单击“确定”。 添加权限。 在左侧导航栏选择“权限管理 > 权限”,并在权限页面右上角单击“创建自定义策略”。 配置策略。 策略名称:请设置为“租户采集最小权限策略”。
在左侧导航栏选择“工作空间 > 空间管理”,并在工作空间列表中,单击目标工作空间名称,进入目标工作空间管理页面。 图1 进入目标工作空间管理页面 在左侧导航栏选择“设置 > 采集管理”,进入采集管理页面后,选择“采集通道管理”页签,进入采集通道管理页面。 图2 进入采集通道管理页面 在采集通道管理页面中,查看采集通道的详细信息。
数据集成 支持接入的云服务日志 接入日志数据 父主题: 设置
管理采集通道 管理采集节点 查看采集节点信息 磁盘分区 Logtash组件配置项说明 连接器规则说明 解析器规则说明 升级组件控制器 父主题: 设置
在左侧导航栏选择“工作空间 > 空间管理”,并在工作空间列表中,单击目标工作空间名称,进入目标工作空间管理页面。 图1 进入目标工作空间管理页面 在左侧导航栏选择“设置 > 组件管理”,默认进入节点管理页面。 图2 进入节点管理页面 在节点管理页面中,查看节点的详细信息。 当节点较多时,可以通过搜索功能快速查询指定节点。
目前,数据采集的组件控制器支持运行在Linux系统x86_64和arm64架构的ECS主机上。 安装组件控制器时,在控制台中查看信息时,仅支持使用IAM账号登录,且需要进行权限设置,具体操作请参见新增节点前准备。 采集器规格 采集管理中,选作为节点的云服务器规格说明如下表所示: 表1 采集器规格 CPU内核数 内存大小
磁盘分区 目前,租户采集主要用于数据中转业务,为保证采集器的正常运行,有如下约束与限制条件: 组件控制器(isap-agent)安装仅支持非管理员账户的IAM账户。 安装组件控制器(isap-agent)并使用采集器用于数据转入转出业务时,请保证“/opt/cloud”空间下有至少100G磁盘空间。
在创建用户组页面,设置用户组名称和描述信息。 用户组名称:请设置为“租户采集用户组”。 描述:自定义描述信息即可。 单击“确定”。 添加权限。 在左侧导航栏选择“权限管理 > 权限”,并在权限页面右上角单击“创建自定义策略”。 配置策略。 策略名称:请设置为“租户采集最小权限策略”。