检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Filebeat+ELK实现Site协同版实例的API日志监控 方案概述 资源规划 准备Docker环境和镜像 修改Filebeat和ELK配置 部署Filebeat和ELK 配置索引生命周期策略（可选） 使用Kibana查看日志
配置说明 分组名称 填写API分组的名称，根据规划自定义。建议您按照一定的命名规则填写API分组名称，方便您快速识别和查找。 可见范围 选择API分组的可见范围，此处选择“集成应用”。 集成应用 选择2中创建的集成应用。若没有可用的集成应用，可单击右侧的“新建集成应用”，创建一个集成应用。
API名称 填写API的名称，自定义。 集成应用 选择创建用于前端认证的函数后端中创建的集成应用。 所属分组 选择前端API所属的API分组。若没有可用的API分组，可单击右侧的“创建分组”，创建一个API分组。 URL 配置API的URL。 请求方法：选择API的请求方法，此处选择“GET”。
其中，log目录用于存储Filebeat收集到的日志数据以及其它元数据信息，即使容器Filebeat被删除并重新启动，会继续读取该目录中的内容（如registry），并在收集数据时更新该目录，这样可确保Filebeat只收集新的日志数据，避免将已经发送过的数据再次发送。 执行以下命令为log目录配置权限。
Site协同版实例中的API调用日志，并通过ELK的Kibana可视化界面查看API的调用日志以及实现API调用日志的汇聚统计。 Filebeat部署在APIC的SHUBAO组件所在节点上，监控API调用日志的产生，并将其发送到ELK的Logstash进行处理。 ELK部署在独立服务器中，
Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“集成应用”，单击页面右上角的“创建集成应用”。 在创建集成应用弹窗中填写集成应用的“名称”，然后单击“确认”。 接入API数据源。 在左侧的导航栏选择“数据源管理”，单击页面右上角的“接入数据源”。 在接
MQS基于Kafka社区版本1.1.0、2.7，您可以在ROMA Connect实例控制台的“实例信息”页面，在“MQS基本信息”下查看Kafka版本信息。Go开源客户端的版本使用请参见客户端版本使用建议。 执行以下命令，安装对应版本的Go Kafka客户端。 go get github.com/con
在新建组合应用页面，进行流任务的配置和编排。 对于使用已有业务模板创建的组合应用，组合应用中已提供了对应业务场景的流任务配置和编排，可直接使用或根据需要进行修改。 对于使用空模板创建的组合应用，需要自定义配置和编排流任务，此处以空模板创建的组合应用为例进行说明。 单击页面上的触发事件框和执行动作框，进行流任务的配置和编排。
1.0、2.7，您可以在ROMA Connect实例控制台的“实例信息”页面，在“MQS基本信息”下查看Kafka版本信息。Java开源客户端的版本使用请参见客户端版本使用建议。 根据实例的Kafka版本信息使用对应版本的客户端，此处以2.7.2版本客户端为例进行说明。 <dependency>
若要求输入密码，则输入与修改ELK配置时设置的密码一致。 执行以下命令新增用户。 bin/elasticsearch-users useradd username 其中，username设置为与修改ELK配置时设置的用户名一致。 在新增用户后，会自动提示设置密码，密码设置为与修改ELK配置时设置的密码一致。 执
启SASL_SSL认证时所使用的用户名和密码。 consumer_id：消费组名称。根据业务需要，自定义消费组名称，如果设置的消费组不存在，系统会自动创建。 context.load_verify_locations：开启SASL_SSL认证时所使用的客户端证书。 非SASL认证方式
在Index settings中配置模板关联的生命周期策略，其中“name”的值与创建索引模板中设置的“Policy name”一致。 { "index": { "lifecycle": { "name": "与索引生命周期策略的名称一致" }, "number_of_shards":
提供了自定义认证方式，方便用户使用自己的认证机制对API进行安全认证，以更好的兼容已有业务能力。 方案优势 使用自定义认证方式，业务系统可继承已有的认证机制，可以更好的兼容已有业务能力，降低开发成本。 约束与限制 APIC的自定义认证支持前端自定义认证和后端自定义认证，本实践中以
MQS基于Kafka社区版本1.1.0、2.7，您可以在ROMA Connect实例控制台的“实例信息”页面，在“MQS基本信息”下查看Kafka版本信息。C#开源客户端的版本使用请参见客户端版本使用建议。 执行以下命令下载安装C#的Kafka依赖库。 dotnet add package -v 1.5.2
用户在编辑设计组合应用时，可以通过引用函数表达式的方式快速配置连接器的配置信息，帮助用户便捷高效的设计组合应用。 组合应用中的函数表达式使用方法如图1所示。 图1 函数表达式的使用方法 函数表达式的分类 组合应用提供数学、字符串、加解密、日期和时间、编解码、进制转换共六种类型的函数表达式。 表1 函数表达式
用户在云服务平台注册的账号，账号对其所拥有的资源及云服务具有完全的访问权限，可以重置用户密码、分配用户权限等。由于账号是付费主体，为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户，是云服务的使用人员，具有身份凭证（密码和访问密钥）。
其他语言客户端使用说明 MQS完全兼容Kafka开源客户端。 如果您使用其他语言，也可以从Kafka官网获取客户端，按照Kafka官网提供的连接说明，与MQS对接。 获取客户端的地址请参考Kafka官网。 父主题： MQS连接开发（开源客户端）
的同时，也开启了VPC内网明文访问，则VPC内无法使用SASL方式连接消息集成的Topic。 使用SASL方式连接消息集成的Topic时，建议在客户端所在主机的“/etc/hosts”文件中配置host和IP的映射关系，否则会引入时延。 其中，IP地址必须为消息集成的连接地址，h
Connect是一个全栈式的应用与数据集成平台，提供消息、数据、API、设备等集成能力，简化企业上云，支持云上云下、跨区域集成，帮助企业实现数字化转型。 您可以使用本文档提供的API对ROMA Connect进行相关操作，如创建、删除、变更API、添加自定义后端等。支持的全部操作请参见API概览。
连接地址 仅当“是否使用JDBC字符串”选择“否”时需要配置。 填写数据库的连接IP地址。 端口 仅当“是否使用JDBC字符串”选择“否”时需要配置。 填写数据库的端口。 服务名称 仅当“是否使用JDBC字符串”选择“否”时需要配置。 填写分布式数据库系统的服务名。 JDBC字符串
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
