检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Filebeat+ELK实现Site协同版实例的API日志监控 方案概述 资源规划 准备Docker环境和镜像 修改Filebeat和ELK配置 部署Filebeat和ELK 配置索引生命周期策略（可选） 使用Kibana查看日志
监控分析”，在“API监控”页签中可查看API的调用统计情况。 可查看“API总数”、“API分组总数”、“流控策略总数”的实时统计。 查看某个API的调用统计，包括“请求次数”、“调用延时”、“数据流量”和“出错统计”。 选择“集成应用”和“API”，筛选要查看统计数据的API，并可以选择要查看数据的时间段范围。
Site协同版实例中的API调用日志，并通过ELK的Kibana可视化界面查看API的调用日志以及实现API调用日志的汇聚统计。 Filebeat部署在APIC的SHUBAO组件所在节点上，监控API调用日志的产生，并将其发送到ELK的Logstash进行处理。 ELK部署在独立服务器中，
通过在ROMA Connect中创建数据集成任务，您可以实现不同数据源之间的数据集成转换。ROMA Connect根据您在数据集成任务中的配置，决定如何将指定的源端的一个数据表中的数据集成到目标端的一个数据表中。 数据集成任务的配置分为任务基本信息、制定计划（可选）、源端信息、目标
JSON格式数据中含数组 如以下写入目标端的JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i]
Filebeat部署在APIC的SHUBAO组件所在节点上，ELK部署在独立服务器中。在搭建Filebeat+ELK系统前，需要对Filebeat和ELK所需的服务器资源进行评估，以准备相关服务器资源。 API调用日志文件最大为200MB，达到上限后会自动生成新的日志文件，以每天产生5个
“/”之间的部分。 请求路径中包含Path参数时，必须配置对应的入参定义。 请求路径中的内容区分大小写。 匹配模式 选择API请求路径的匹配模式。 绝对匹配：API请求中的请求路径要与“请求Path”的配置一致。 前缀匹配：API请求中的请求路径要以“请求Path”的配置为前缀。
高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理服务器。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是Kafka集群中的核心组件，负责处理消息的存储和转发。Kafka的主要优点是可扩展
高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理服务器。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是Kafka集群中的核心组件，负责处理消息的存储和转发。Kafka的主要优点是可扩展
”，可查看该时间范围内的日志数据。 在页面左侧的字段列表中选择要查看的日志字段，筛选包含该字段的日志数据。 在页面右侧的“Break down by”处选择日志字段，可查看该字段的聚合统计数据。 父主题： 使用Filebeat+ELK实现Site协同版实例的API日志监控
主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库 填写要连接的数据库名。 密码 连接数据库的密码。 描述 填写连接器的描述信息，用于识别不同的连接器。 支持的动作 有序集合基本操作 集合基本操作 哈希基本操作 列表基本操作 字符串基本操作 键的基本操作 字符串基本操作
工作流在线调试功能可能会对运行在所选实例上的其它工作流产生影响，推荐您使用独立的实例进行调试。 使用工作流在线调试功能，调试环境如果选择共享体验版实例，您可同时调试的最大工作流数量为1条；如果选择购买独立的ROMA Connect实例，可同时调试的最大工作流数量为5条。 使用工作流在线调试功能，工作流的触发器节点不会真实运行，如Open
ROMA Connect支持接入多种类型的数据源，并通过数据集成任务实现源端到目标端的数据集成转换。 数据集成任务规定了源端到目标端的数据集成规则，包括两端的数据类型、数据字段的映射规则、数据集成的过滤条件等。ROMA Connect支持两种数据集成任务： 数据集成任务（普通任务
其中，log目录用于存储Filebeat收集到的日志数据以及其它元数据信息，即使容器Filebeat被删除并重新启动，会继续读取该目录中的内容（如registry），并在收集数据时更新该目录，这样可确保Filebeat只收集新的日志数据，避免将已经发送过的数据再次发送。 执行以下命令为log目录配置权限。
若要求输入密码，则输入与修改ELK配置时设置的密码一致。 执行以下命令新增用户。 bin/elasticsearch-users useradd username 其中，username设置为与修改ELK配置时设置的用户名一致。 在新增用户后，会自动提示设置密码，密码设置为与修改ELK配置时设置的密码一致。 执
本实践使用官方最新稳定版的Docker镜像（基于Docker、Docker-Compose）部署Filebeat和ELK。 前提条件 准备一台可连接公网的本地PC，系统为Linux，用于拉取Docker镜像。 已根据资源规划，完成服务器资源的准备，且ELK所部署的服务器与APIC的SHUBAO组件所在节点网络互通。
在Index settings中配置模板关联的生命周期策略，其中“name”的值与创建索引模板中设置的“Policy name”一致。 { "index": { "lifecycle": { "name": "与索引生命周期策略的名称一致" }, "number_of_shards":
> 账单管理”查看资源的费用账单，以了解该资源在某个时间段的使用量和计费信息。 账单上报周期 包年/包月计费模式的资源完成支付后，会实时上报一条账单到计费系统进行结算。 按需计费模式的资源按照固定周期上报使用量到计费系统进行结算。按需计费模式产品根据使用量类型的不同，分为按小时、按
FTP数据源解析模式下支持的最大文件大小为200M，超过200M的文件将自动跳过，不进行采集；解析的数据行数最大为1500000；不解析模式下，支持的最大文件大小为6M，最大文件数量为20000。 说明： FTP数据源之间多个文件同步统计，代表的是本次同步的文件的数量。 OBS数据源类型
Key）。请参考访问密钥获取SK，如果已生成过AK/SK，找到原来已下载的AK/SK文件，文件名一般为credentials.csv。 描述 填写连接器的描述信息，用于识别不同的连接器。 支持的操作 通用表格识别 通用文字识别 网络图片识别 智能分类识别 手写文字识别 身份证识别
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
