批量设置多个接入配置 支持同时批量设置多个接入配置，操作简单，不用重复配置即可快速完成多个场景的接入配置 在“接入管理”页面，单击“批量接入”，进入配置详情页面，请参考表6。 表6 批量接入设置 类型 操作 说明 基本配置 接入类型 选择云容器引擎 CCE-应用日志。 接入配置数量 在输入框填写接入配置数量，单击“添加接入配置”。 在接入配置下方默认已有1个接入配置，最多支持再添加99个数量，因此支持同时添加100个接入配置。 接入配置 接入列表 左侧显示接入配置的信息，最多支持添加99个配置。 右侧显示配置接入的内容，详细请参考步骤4：采集配置进行设置。 一个接入配置设置完成后，单击“应用于其他接入规则”即可将该接入配置复制到其他接入配置。 单击“参数检查”，检查成功后，单击“提交”，批量接入设置完成。 例如添加了4个接入配置，批量创建成功后，在接入规则页签下方，就会显示4条接入配置数量。 （可选）支持对接入配置任务进行以下操作： 勾选多个已创建成功的接入配置，单击“批量编辑”进入配置详情页面，通过选择不同接入类型，修改对应的接入配置信息。 勾选多个已创建成功的接入配置，单击开启或关闭按钮。接入配置状态关闭后不会继续采集日志。 勾选多个已创建成功的接入配置，单击删除按钮即可批量删除接入配置。

使用限制 支持容器引擎为Docker的CCE集群节点。详情请查看云容器引擎（CCE）。 支持使用Containerd作为容器引擎的CCE集群节点（ICAgent 5.12.130及以上版本）。 支持 CCE Turbo 集群（ICAgent 5.12.130及以上版本）。 容器内的日志目录如果已挂载到主机目录上，将无法通过配置容器文件路径方式采集到LTS，只能通过配置节点文件路径方式采集到LTS。 Docker存储驱动限制：容器文件日志采集目前仅支持overlay2存储驱动，不支持devicemapper作为存储驱动的节点。查看存储驱动类型，请使用如下命令： docker info | grep "Storage Driver" 如果选择日志流时，采集方式为采集到集中日志流时，则必须已创建CCE集群。

步骤6：完成接入配置 在接入规则页签，则会生成一条接入配置信息。 单击接入配置名称可进入详情页面，查看该接入配置详细信息。 单击接入配置操作列的“编辑”重新修改接入配置信息。 单击接入配置操作列的“标签管理”即可添加标签。 单击接入配置操作列的“复制”复制一条新的接入配置信息。 单击接入配置操作列的“删除”即可删除接入配置信息。 单击接入配置操作列的“采集诊断”，可查看ICAgent异常监控、ICAgent整体状态和ICAgent采集监控。

前提条件 CCE集群已安装ICAgent并且已创建相关节点自定义标识的主机组（如果不满足，配置CCE接入LTS时会自动检查修复）。 首次使用 AOM 2.0的用户，请参考开通AOM2.0授权使用AOM2.0，进入AOM2.0控制台后，请参考云服务授权授予 云日志 服务 (LTS)、云容器引擎 (CCE)等云服务数据的访问权限。 在“主机”页面，选择“CCE集群”，在搜索框选择目标集群，单击“升级ICAgent”，详细操作请参考升级ICAgent。 已关闭采集容器标准输出到AOM的开关。 开启“ICAgent诊断开关”用于查看ICAgent异常监控、ICAgent整体状态和ICAgent采集监控，请参考设置ICAgent日志采集开关。

创建多台跳板机通过ELB进行负载均衡 单跳板机可能发生单点故障带来运维的不稳定性，此时可以创建多个跳板机并通过 ELB负载均衡 将流量分摊到不同的跳板机上，提高接入的可靠性。 创建Linux操作系统的E CS 弹性云服务器作为跳板机。 登录弹性云服务器控制台，创建一个Linux操作系统的ECS。创建ECS的具体步骤，请参考购买弹性云服务器。如果您已有符合条件ECS，可直接使用作为跳板机，不需要再次创建。 推荐CentOS 6.5 64bit及其以上版本的镜像， 最低规格为1vCPUs | 1GB，推荐规格为2vCPUs | 4GB。 如果跳板机使用公网与区域外主机互通，那么需要开通EIP；如果跳板机使用云专线VPC对等连接方式与区域外主机互通，那么不需要开通EIP。 跳板机的区域要与LTS当前Region一致。 添加跳板机ECS使用的安全组规则，开放入方向对应端口，保证区域外主机到跳板机数据连通。 登录弹性云服务器控制台，查看弹性云服务器列表，找到作为跳板机的弹性云服务器。 单击跳板机名称进入ECS详情，单击安全组名称，进入安全组详情页。 在该安全组详情页，选择“入方向规则”页签，单击“添加规则 ”。请按照表4设置端口，更多参数可根据业务网络需求填写。详情请参考添加安全组规则。 表4 安全组规则 策略 协议 端口 说明 允许 TCP 8149,8102,8923,30200,30201,80 ICAgent发送数据到跳板机的端口列表，保证非本区域主机到跳板机ECS的数据连通性。 返回弹性云服务器列表，找到1中作为跳板机的弹性云服务器，可以查看到私有IP及弹性IP（如跳板机开通EIP，此处会显示弹性IP）。 图5 复制私有IP 登录云日志服务控制台，在左侧导航栏选择“主机管理 ”，单击“安装ICAgent”，在“安装ICAgent”页面中输入跳板机私有IP，生成跳板机转发命令。 跳板机私有IP是指VPC内网IP。 在“安装ICAgent”页面单击“复制命令”，复制SSH Tunnel转发命令。 ssh -f -N -L {跳板机私有IP}:8149:{LTS上报IP}:8149 -L {跳板机私有IP}:8102:{LTS上报IP}:8102 -L {跳板机私有IP}:8923:{LTS上报IP}:8923 -L {跳板机私有IP}:30200:{LTS上报IP}:30200 -L {跳板机私有IP}:30201:{LTS上报IP}:30201 -L {跳板机私有IP}:80:icagent-{region}.{obs_domain}:80 {跳板机私有IP} 以root用户登录跳板机，执行复制的SSH Tunnel转发命令。 重复以上步骤创建多个跳板机，并且将多个跳板机放入同一个VPC中。即在创建弹性云服务器，进行网络配置时，选择同一个虚拟私有云。 登录弹性负载均衡控制台，创建弹性负载均衡ELB。具体请参见创建弹性负载均衡，在创建时需注意以下几点。 创建ELB，在网络配置时，选择与跳板机ECS相同的VPC。 新建弹性公网IP，ELB的弹性公网IP将作为跳板机连接IP。 带宽根据业务量申请，并进行适配。 分别为TCP的端口30200、30201、8149、8923、8102、80添加监听器。具体请参见添加TCP监听器。 创建一个后端服务器组，并将所有的跳板机放置在同一个后端服务器组，具体请参见添加后端云服务器。 返回云日志服务控制台，在“安装ICAgent”页面，将ELB的弹性公网IP填写到“跳板机连接IP”中，复制安装命令，在对应区域外主机上执行即可。

继承批量安装（Linux环境） 您有多个服务器需要安装ICAgent，其中一个服务器已经通过首次安装方式装好了ICAgent，且该服务器“/opt/ICAgent/”路径下存在ICAgent的安装包ICProbeAgent.tar.gz，对于没有安装ICAgent的服务器，可以通过该方式对服务器进行一键式继承批量安装。 批量安装的服务器需同属一个VPC下，并在同一个网段中。 批量安装功能依赖python3.*版本，如果安装时提示找不到python请在服务器上安装python版本后重试。

使用限制 Linux环境：ICAgent安装支持的Linux操作系统。 Windows环境：仅支持在如下64位系统的Windows环境中安装ICAgent。 Windows Server 2016 R2 Datacenter Windows Server 2016 R2 Standard Windows Server 2016 Datacenter English Windows Server 2016 R2 Standard English Windows Server 2012 R2 Datacenter Windows Server 2012 R2 Standard Windows Server 2012 Datacenter English Windows Server 2012 R2 Standard English Windows Server 2008 R2 Enterprise Windows Server 2008 R2 Standard Windows Server 2008 Enterprise English Windows Server 2008 R2 Standard English Windows环境不支持在云日志服务主机管理界面对ICAgent进行升级和卸载操作，只支持日志采集功能。如果需要使用新版本，请先卸载旧版本ICAgent，再安装新版本ICAgent即可。

步骤7：完成接入配置 接入成功后，在接入规则页签，则会生成一条接入配置信息。 单击接入配置名称可进入详情页面，查看该接入配置详细信息。 单击接入配置操作列的“编辑”重新修改接入配置信息。 单击接入配置操作列的“标签管理”即可添加标签。 单击接入配置操作列的“复制”复制一条新的接入配置信息。 单击接入配置操作列的“删除”即可删除接入配置信息。 单击接入配置操作列的“采集诊断”，可查看ICAgent异常监控、ICAgent整体状态和ICAgent采集监控。

批量设置多个接入配置 支持同时批量设置多个接入配置，操作简单，不用重复配置即可快速完成多个场景的接入配置。 在“接入管理”页面，单击“批量接入”，进入配置详情页面，请参考表6。 表6 批量接入设置 类型 操作 说明 基本配置 接入类型 选择自建k8s - 应用日志。 接入配置数量 在输入框填写接入配置数量，单击“添加接入配置”。 在接入配置下方默认已有1个接入配置，最多支持再添加99个数量，因此支持同时添加100个接入配置。 接入配置 接入列表 左侧显示接入配置的信息，最多支持添加99个配置。 右侧显示配置接入的内容，详细请参考步骤5：采集配置进行设置。 一个接入配置设置完成后，单击“应用于其他接入规则”即可将该接入配置复制到其他接入配置。 单击“参数检查”，检查成功后，单击“提交”，批量接入设置完成。 例如添加了4个接入配置，批量创建成功后，在接入规则页签下方，就会显示4条接入配置数量。 （可选）支持对接入配置任务进行以下操作： 勾选多个已创建成功的接入配置，单击“批量编辑”进入配置详情页面，通过选择不同接入类型，修改对应的接入配置信息。 勾选多个已创建成功的接入配置，单击开启或关闭按钮。接入配置状态关闭后不会继续采集日志。 勾选多个已创建成功的接入配置，单击删除按钮即可批量删除接入配置。

步骤3：安装日志采集组件 在Kubernetes集群中，选择任意一台主机执行如下操作步骤： 获取ICAgent安装包。 获取ICAgent安装包（以界面上显示的为准）。 wget https://icagent-{regionId}.{obsDomainName}/ICAgent_linux/icagentK8s-5.5.1.2.tar.gz 解压ICAgent安装包。 tar -xzvf icagentK8s-5.5.1.2.tar.gz 进入目录。 cd icagentK8s 生成安装命令： 选择接入日志的区 域名 。 选择接入日志的账号的项目ID。 k8s集群所在区域，选择“区域内”。 安装ICAgent。 复制ICAgent安装命令 为了避免泄漏您的AK/SK，请勾选此处，执行关闭历史记录命令。 图2 安装ICAgent 生成安装命令如下：（x.x.x.x以界面上显示的实际IP为准） set +o history; bash icagent_log_install.sh 2a473356cca5487f8373be891bffc1cf test-xx123456 region0_id {input_your_ak} {input_your_sk} x.x.x.x podlb 执行的命令需要填写AK/SK，有两种方式可选择： 方式一：复制命令手动替换 {input_your_ak} 和 {input_your_sk}，填写值时不需要添加{}。 方式二：直接执行复制的命令，系统会提示“Enter the AK”和“Enter the SK”，填写对应的AK/SK即可。 使用PuTTY等远程登录工具，以root用户登录待安装主机，执行复制到的命令。 当显示”ICAgent install success”时，表示安装成功，安装成功后，在左侧导航栏中选择“主机管理”，查看ICAgent状态。 单击“确认安装完毕”。

步骤2：检查依赖项 系统自动检查以下三项是否符合要求： 存在自定义标识为k8s-log-集群ID的主机组。 存在名为k8s-log-集群ID的日志组。支持修改日志组的日志存储时间和备注。当选择日志流为采集到集中日志流时，会进行该项内容检查。 存在系统推荐的集中采集的日志流。支持修改日志流的日志存储时间和备注。当选择日志流为采集到集中日志流时，会进行该项内容检查。 如果以上三项中，有任意一项不符合要求，需单击“自动修复”按钮进行修复，否则将无法进行下一步操作。 自动修复：一键帮您完成以上三项配置。 重新检查：重新检查依赖项。 当选择日志流为采集到自定义日志流时，“存在名为k8s-log-集群ID的日志组”的检查项为可选项。您可以通过开启或关闭开关进行控制，确定是否进行该项检查。 单击“下一步：安装日志采集组件”。

自定义日志时间 开启自定义日志时间开关，参考表10设置参数。 若时间格式填写错误或指定字段不存在，将使用日志被采集时间作为日志时间。 对结构化解析进行字段名称修改、字段删除、字段类型修改等操作，都需要重新校验时间字段。 表10 参数配置表 参数 说明 示例 时间字段key名称 已提取字段的名称。单击下拉框选择已提取的字段，该字段为string或long类型。 test 字段value 已提取的字段value，选择字段key后，将自动填充。 说明： 配置的字段value必须是当前时间前后24小时内的时间。 2023-07-19 12:12:00 时间格式 请参考常见日志时间格式。 yyyy-MM-dd HH:mm:ss 操作 单击校验图标，提示“时间格式和字段value匹配成功”则表示校验成功。 -

组合解析 适用于多格式嵌套的日志（例如：分隔符+JSON），根据语法自定义配置解析规则。 选择组合解析。 从“从已有日志中选择”或“从剪切板中粘贴”选择日志样例，在插件配置下方输入配置内容。 您可以根据日志内容参考以下插件语法自定义设置： processor_regex 表1 正则提取 参数 类型 说明 source_key string 原始字段名。 regex string 正则表达式()中为提取字段。 keys string 为提取的内容指定字段名。 keep_source boolean 是否保留原始字段。 keep_source_if_parse boolean 解析错误是否保留原始字段。 processor_split_string 表2 分隔符解析 参数 类型 说明 source_key string 原始字段名。 split_sep string 分隔符字符串。 keys string 为提取的内容指定字段名。 keep_source boolean 被解析后的日志中是否保留原始字段。 split_type char/special_char/string 分隔类型，支持char-单字符、special_char-不可见字符、string-字符串。 keep_source_if_parse_error boolean 解析错误是否保留原始字段。 processor_split_key_value 表3 键值对分割 参数 类型 说明 source_key string 原始字段名。 delimiter string 键值对之间的分隔符，默认值为制表符\t。 separator string 单个键值对中键与值之间的分隔符，默认值为半角冒号（:）。 keep_source boolean 被解析后的日志中是否保留原始字段。 processor_add_fields 表4 添加字段 参数 类型 说明 fields json/object 待添加的字段名和字段值。键值对格式，支持添加多个。 processor_drop 表5 丢弃字段 参数 类型 说明 drop_keys string 丢弃的字段列表。 processor_rename 表6 重命名字段 参数 类型 说明 source_keys string 待重命名的原始字段。 destkeys string 重命名后的字段。 processor_json 表7 json展开提取 参数 类型 说明 source_key string 原始字段名。 keep_source string 被解析后的日志中是否保留原始字段。 expand_depth int json展开的深度。默认值为0，表示不限制。1表示当前层级，以此类推。 expand_connector string json展开时的连接符，默认值为下划线（_）。 prefix string json展开时，对字段名附加的前缀。 keep_source_if_parse_error boolean 解析错误是否保留原始字段。 processor_filter_regex 表8 过滤器 参数 类型 说明 include json/object key为日志字段，value为匹配的正则表达式。 exclude json/object key为日志字段，value为匹配的正则表达式。 processor_gotime 表9 提取时间 参数 类型 说明 source_key string 原始字段名。 source_format string 原始时间的格式。 source_location int 原始时间的时区。参数值为空时，表示logtail所在主机或容器的时区。 dest_key string 解析后的目标字段。 dest_format string 解析后的时间格式。 dest_location int 解析后的时区。参数值为空时，表示本机时区。 set_time boolean 是否将解析后的时间设置为日志时间。 keep_source boolean 被解析后的日志中是否保留原始字段。 参考示例： [ { "type": "processor_regex", "detail": { "source_key": "content", "regex": "*", "keys": [ "key1", "key2" ], "multi_line_regex": "*", "keep_source": true, "keep_source_if_parse_error": true } }, { "type": "processor_split_string", "detail": { "split_sep": ".", "split_type": ".", "split_keys": [ "key1", "key2" ], "source_key": "context", "keep_source": true, "keep_source_if_parse_error": true } }, { "type": "processor_add_fields", "detail": { "fields": [ { "key1": "value1" }, { "key2": "value2" } ] } }, { "type": "processor_drop", "detail": { "drop_keys": [ "key1", "key2" ] } }, { "type": "processor_rename", "detail": { "source_key": [ "skey1", "skey2" ], "dest_keys": [ "dkey1", "dkey2" ] } }, { "type": "processor_json", "detail": { "source_key": "context", "expand_depth": 4, "expand_connector": "_", "prefix": "prefix", "keep_source": true, "keep_source_if_parse_error": true } }, { "type": "processor_gotime", "detail": { "source_key": "skey", "source_format": "ydm", "source_location": 8, "dest_key": "dkey", "dest_format": "ydm", "dest_location": 8, "set_time": true, "keep_source": true, "keep_source_if_parse_error": true } }, { "type": "processor_filter_regex", "detail": { "include": { "ikey1": "*", "ikey2": "*" }, "exclude": { "ekey1": "*", "ekey1": "*" } } } ]

单行-完全正则 适用任意格式的单行日志，使用正则表达式提取字段。 选择单行-完全正则。 从“从已有日志中选择”或“从剪切板中粘贴”选择日志样例。 从已有日志中选择：单击“从已有日志中选择”，在弹出框中根据业务需求选择待操作的日志，单击“确定”。通过选择不同时间段筛选日志。 从剪切板中粘贴：单击“从剪切板中粘贴”，可直接自动将您剪切的日志内容复制到示例日志框中。 在“提取正则表达式”下方输入要提取日志的正则表达式，单击“验证”，在提取结果下方查看结果。 或者单击“正则表达式自动生成”，在新打开的页面根据日志样例提取字段，输入key值，单击“确定”即可自动生成正则表达式，设置完成后，单击“确定”。 图11 提取正则表达式 日志过滤默认关闭，可根据需要打开日志过滤，进行添加白名单规则或黑名单规则，白名单规则或黑名单规则添加上限为20个。 图12 日志过滤规则 开启日志过滤才需要设置，添加白名单规则。 您可以添加过滤规则筛选出有价值的日志数据，过滤规则为正则表达式，应用到指定Key的Value。所创建的过滤规则为命中规则，即匹配上正则表达式的日志才会被采集上报。 单击“添加”，填写Key值和过滤规则（正则表达式）。Key值为日志字段名称，多条过滤规则之间关系是“或”逻辑。例如采集日志源文中包含hello的日志，可配置采集规则为.*hello.* 单击操作列的可以进行规则校验，输入字段值，单击“校验”，提示校验成功。 图13 校验 开启日志过滤才需要设置，添加黑名单规则。 您可以添加过滤规则筛选出有价值的日志数据，过滤规则为正则表达式，应用到指定Key的Value。所创建的过滤规则为丢弃规则，即匹配上正则表达式的日志会被丢弃。 单击“添加”，填写Key值和过滤规则（正则表达式）。Key值为日志字段名称，多条过滤规则之间关系是“或”逻辑。例如不采集日志源文中包含test的日志，可配置采集规则为.*test.* 单击操作列的可以进行规则校验，输入字段值，单击“校验”，提示校验成功。 上传原始日志。 打开上传原始日志开关后，原始日志将作为content字段的值上传到日志服务。 上传解析失败日志。 打开上传解析失败日志开关后，原始日志将作为_content_parse_fail_字段的值上传到日志服务。 自定义日志时间。 开启后可指定某一字段作为日志时间，或关闭此项使用日志被采集时间作为日志时间。

多行-完全正则 适用任意格式的多行日志，使用正则表达式提取字段。 选择多行-完全正则。 从“从已有日志中选择”或“从剪切板中粘贴”选择日志样例。 从已有日志中选择：单击“从已有日志中选择”，在弹出框中根据业务需求选择待操作的日志，单击“确定”。通过选择不同时间段筛选日志。 从剪切板中粘贴：单击“从剪切板中粘贴”，可直接自动将您剪切的日志内容复制到示例日志框中。 在“首行正则表达式”下方支持自动生成或手动输入正则表达式。首行正则表达式需要匹配首行完整内容，注意并非首行的开头内容。 在“提取正则表达式”下方输入要提取日志的正则表达式，单击“验证”，在提取结果下方查看结果。 或者单击“正则表达式自动生成”，在新打开的页面根据日志样例提取字段，输入key值，单击“确定”即可自动生成正则表达式，设置完成后，单击“确定”。 图14 设置正则表达式 日志过滤默认关闭，可根据需要打开日志过滤，进行添加白名单规则或黑名单规则，白名单规则或黑名单规则添加上限为20个。 图15 日志过滤规则 开启日志过滤才需要设置，添加白名单规则。 您可以添加过滤规则筛选出有价值的日志数据，过滤规则为正则表达式，应用到指定Key的Value。所创建的过滤规则为命中规则，即匹配上正则表达式的日志才会被采集上报。 单击“添加”，填写Key值和过滤规则（正则表达式）。Key值为日志字段名称，多条过滤规则之间关系是“或”逻辑。例如采集日志源文中包含hello的日志，可配置采集规则为.*hello.* 单击操作列的可以进行规则校验，输入字段值，单击“校验”，提示校验成功。 图16 校验 开启日志过滤才需要设置，添加黑名单规则。 您可以添加过滤规则筛选出有价值的日志数据，过滤规则为正则表达式，应用到指定Key的Value。所创建的过滤规则为丢弃规则，即匹配上正则表达式的日志会被丢弃。 单击“添加”，填写Key值和过滤规则（正则表达式）。Key值为日志字段名称，多条过滤规则之间关系是“或”逻辑。例如不采集日志源文中包含test的日志，可配置采集规则为.*test.* 单击操作列的可以进行规则校验，输入字段值，单击“校验”，提示校验成功。 上传原始日志。 打开上传原始日志开关后，原始日志将作为content字段的值上传到日志服务。 上传解析失败日志。 打开上传解析失败日志开关后，原始日志将作为_content_parse_fail_字段的值上传到日志服务。 自定义日志时间。 开启后可指定某一字段作为日志时间，或关闭此项使用日志被采集时间作为日志时间。