检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Filebeat+ELK实现Site协同版实例的API日志监控 方案概述 资源规划 准备Docker环境和镜像 修改Filebeat和ELK配置 部署Filebeat和ELK 配置索引生命周期策略（可选） 使用Kibana查看日志
源进行评估，以准备相关服务器资源。 API调用日志文件最大为200MB，达到上限后会自动生成新的日志文件，以每天产生5个或10个新日志文件为例，Filebeat和ELK对服务器的资源需求如表1所示。 表1 服务器资源需求 组件 日志文件数 CPU 内存 磁盘 Filebeat 5个
Connect注册设备中所创建的集成应用。 目标端数据类型 选择“MySQL”。 数据源名称 选择2中所配置的MySQL数据源。 目标端表 选择MySQL数据库中集成数据要写入的数据表。 选择数据表后，单击“选择表字段”，选择车位感应设备信息和车位状态信息要写入数据库的列字段。 批次号字段 此处不设置。 配置MQS到MySQL的数据映射规则。
# 如果需要把Filebeat收集到的日志数据保存到本地log目录下，则取消本行代码注释 # - ./log:/usr/share/filebeat/data # filebeat读取本地日志，该本地日志地址需要根据实际待监控路径的地址进行配置，相对路径或绝对路径均可。
restart logstash docker restart kibana 父主题： 使用Filebeat+ELK实现Site协同版实例的API日志监控
节点网络互通。 操作步骤 确认SHUBAO组件所在节点。 登录ROMA Connect控制台，在左侧导航栏选择“Site实例”。 在要监控日志的Site协同版实例上，单击站点名称，打开站点信息弹窗。 在弹窗中单击边缘节点的名称，进入该边缘节点的详细信息页面。 在节点信息页面单击“
同步数据库和缓存数据 概述 当模型采集中采集任务执行失败时，采集日志显示数据库和缓存不一致时，可以从数据源和任务的维度，执行同步任务，使数据库和缓存保持一致，解决采集任务异常。 前提条件 已完成采集技术模型和录入业务模型。 操作步骤 登录ROMA Connect，在“实例”页面单
Name：模板名称，自定义。 Index pattern：使用通配符形式匹配多个日志索引，例如“site_access_log_*”，表示匹配以site_access_log_开头的所有日志索引文件。 日志索引的名称格式为site_access_log_{es_index_name}_{current_date
息。 消费者 消费者为从消息主题（Topic）订阅消息的一方，订阅消息的最终目的在于处理消息内容。如日志集成场景中，监控告警平台作为消费者从Topic订阅日志消息，识别出告警日志并发送告警消息/邮件。 分区 Kafka将消息主题（Topic）划分为多个分区（Partition），
FDI任务是否支持清空目标表？ FDI创建任务时目标端选择DWS、MySQL、Oracle、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表，其他数据源不支持清空表操作。 父主题： 数据集成普通任务
系统变量 > 节点变量 > 自定义变量。 系统变量 系统提供了一些内置的变量，表示系统参数或者某些连接器的特定输出。当前组合应用提供的系统变量如表1所示。 系统变量引用方式：${变量名}。 表1 系统变量说明 变量 说明 step_execution_time 上一个节点的执行耗时，单位毫秒。
使用Filebeat+ELK实现Site协同版实例的API日志监控 通过在ROMA Site协同版本地部署Filebeat+ELK，直接获取ROMA Site协同版实例中的API调用日志，并通过ELK的Kibana可视化界面查看API的调用日志以及实现API调用日志的汇聚统计。 使用自定义后端开发自定义认证
引用函数表达式 用户在编辑设计组合应用时，可以通过引用函数表达式的方式快速配置连接器的配置信息，帮助用户便捷高效的设计组合应用。 组合应用中的函数表达式使用方法如图1所示。 图1 函数表达式的使用方法 函数表达式的分类 组合应用提供数学、字符串、加解密、日期和时间、编解码、进制转换共六种类型的函数表达式。
数据源说明 假设数据库里面有一张表，表结构如下建表语句所示： create table sp_test(id number,name varchar2(50),sal number); 往表中并插入数据，数据集如下表所示： 表1 sp_test表数据集 ID NAME SAL 1
数据库 MySQL Redis DB2 GaussDB DWS Milvus Oracle PostgreSQL Sql Server 父主题： 连接器
据源的参数。 以MySQL为例说明，假设数据API有数据源1和数据源2，user01是数据源1的数据表和user02是数据源2的数据表，两张表的结构如下： 表1 表结构 数据源 表名 参数 数据源1 user01 id（int） name（varchar） 数据源2 user02
XML校验 “XML校验”处理器用于对XML格式数据处理时，进行内容校验与处理。如校验正确在系统日志中没有错误信息，校验失败系统日志中会打印异常信息，并结束流任务的运行。 配置参数 参数 说明 XML 待校验的xml数据，文本输入大小限制10万字符。 XML Schemas Definition
选择“MySQL”。 数据源名称 选择接入数据源中已配置的MySQL数据源。 目标端表 选择集成数据要写入MySQL数据库中的数据表。 选择数据表后，单击“选择表字段”，可以选择要写入数据的列字段。 批次号字段 选择目标表中类型为String并且字段长度大于14的字段作为批次号字段，且该批次号
最小长度：1 最大长度：64 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。 表3 请求Body参数 参数 是否必选
ysql操作重试一次（间隔两秒），之后终止，不再执行后续流程；若出现运行异常且错误信息中包含error，则不会对mysql操作重试，会进行日志采集，然后继续执行后续Redis hget操作等。 父主题： 处理器
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
