检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果ROMA Connect支持的数据源类型无法接入您使用的数据源，您可以自行开发一个数据源插件，用于实现对数据源的读写。 同时，这个数据源插件以标准RESTful接口形式供ROMA Connect接入，最终实现ROMA Connect对数据源的读写。 这个数据源插件称为连接器，这类通过连接器接入的数据源称为自定义数据源。
分和过滤，然后将解析后的日志数据发送到ELK的ElasticSearch进行存储。 ELK的ElasticSearch接收到日志数据后，生成日志数据的索引并存储数据，为Kibana的可视化显示提供聚合搜索和数据分析的支撑。 用户使用ELK的Kibana创建日志视图，基于Logst
FDI各类数据库支持哪些数据类型？ FDI各类数据库支持的数据类型有： Kafka数据库：string MySQL数据库：integer，bigint，number，varchar，char，float，date，timestamp，datetime Oracle数据库：inte
CLICKHOUSE数据源 FTP：FTP数据源 OBS：OBS数据源 ACTIVEMQ：ActiveMQ数据源 ARTEMISMQ：ArtemisMQ数据源 IBMMQ：IBM MQ数据源 KAFKA：Kafka数据源 MQS：MQS数据源 RABBITMQ：RabbitMQ数据源 HANA：HANA数据源
指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径中，不包含数据根字段的路径部分，具体请参见元数据解析路径配置说明。 元数据解析路径配置说明：
数据源连接测试失败排查操作 请检查数据源相关配置是否正确，例如数据库名及密码是否填写错误。 请检查数据源IP与FDI是否在同一个VPC内，若不在请先创建对等连接。 如何创建VPC对等连接请参考VPC对等连接。 请检查数据源服务器端防火墙是否开放连接端口。 请检查数据源服务器端IP白名单限制是否添加FDI数据面IP。
接入数据源 根据数据源类型的不同，数据源的接入配置有所差异，具体如下表所示。接入数据源后，单击数据源名称可以查看数据源详情，数据源详情中可查看数据源相关的任务信息。 ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于业界主流数据库之间的数据迁移、
< kibana_image.tar docker load < python_image.tar 父主题： 使用Filebeat+ELK实现Site协同版实例的API日志监控
FDI通过公网对接其他租户的MRS HIVE如何配置？ 首先需要将MRS的IP全部绑定EIP，然后在MRS配置文件中的私网IP全部替换成EIP，再到hdfs-site.xml文件中添加一个配置项“dfs.client.use.datanode.hostname”，值设为“true”。 父主题： 数据集成普通任务
数据源管理 创建数据源 查询数据源 查询指定数据源 修改数据源 删除指定数据源信息 获取数据源中所有的表 获取数据源中某个表中所有字段 测试数据源连通性 测试数据源SQL是否可用 父主题： 数据集成API
ElasticSearch的磁盘空间需求取决于数据量、副本数： 一般场景：数据量*(1+副本数)*1.7 峰值场景：数据量*(1+副本数)*2.6 其中，数据量为存储的日志文件总大小，即200MB*日志文件数；本实践中，ElasticSearch的副本数为1。 ElasticSearch存储的数据，默认未设置过
创建数据后端 概述 ROMA Connect支持把数据源定义为后端服务，实现从数据源中读写数据，并以API的形式对外开放。 约束与限制 数据源存储的单行数据大小建议不超过2KB，若超过该限制会导致自定义后端响应异常。 当数据源返回numeric类型数据时，如果该数据的小数位精度超
指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径中，不包含数据根字段的路径部分，具体请参见元数据解析路径配置说明。 元数据解析路径配置说明：
配置任务基本信息 概述 通过在ROMA Connect中创建数据集成任务，您可以实现不同数据源之间的数据集成转换。ROMA Connect根据您在数据集成任务中的配置，决定如何将指定的源端的一个数据表中的数据集成到目标端的一个数据表中。 数据集成任务的配置分为任务基本信息、制定计划（可选）、
”。 接入数据源。 配置ROMA Connect接入业务系统的数据库，确保可以正常从数据库读取数据。不同类型数据源的接入配置不同，此处以MySQL数据库为例，其他类型数据库请参考接入数据源。 在左侧的导航栏选择“数据源管理”，单击页面右上角的“接入数据源”。 在接入数据源页面的“
其中，log目录用于存储Filebeat收集到的日志数据以及其它元数据信息，即使容器Filebeat被删除并重新启动，会继续读取该目录中的内容（如registry），并在收集数据时更新该目录，这样可确保Filebeat只收集新的日志数据，避免将已经发送过的数据再次发送。 执行以下命令为log目录配置权限。
Connect的数据集成，把业务系统A中的数据进行格式转换后，集成到业务系统B的数据库中使用。后续根据制定的同步计划，定时把业务系统A中新增的数据同步到业务系统B中，保证了两个系统间的数据同步。 ROMA Connect的数据集成直接读取业务系统A中数据库的数据，并根据集成任务的配
接入数据源 接入DWS数据源 接入Gauss100数据源 接入HANA数据源 接入HIVE数据源 接入MongoDB数据源 接入MySQL数据源 接入Oracle数据源 接入PostgreSQL数据源 接入Redis数据源 接入SQL Server数据源 父主题： 创建并开放数据API
如何调用API 构造请求 认证鉴权 返回结果
前提条件 ROMA Connect已接入源端和目标端数据源，具体请参考接入数据源。 ROMA Connect具备向目标端数据源写入数据的权限。 若需要配置同步异常的数据存储，需要完成OBS数据源的接入配置，具体请参见接入OBS数据源。 操作步骤 登录ROMA Connect控制台，在“实
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
