-
配置API的访问控制 - 应用与数据集成平台 ROMA Connect
仅支持配置账号ID,对账号及账号下的IAM用户做限制,不支持配置IAM用户ID。 Site实例中,不支持选择“账号ID”。 动作 选择访问控制的动作,与“限制类型”配合使用。 允许:表示仅允许指定的IP地址或账号调用API。 禁止:表示禁止指定的IP地址或账号调用API。 IP地址 仅当“类型”选择“IP地址”时需要配置。
-
配置系统间数据集成 - 应用与数据集成平台 ROMA Connect
动关联,无需配置。 目标端集成应用 选择目标端MySQL数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“MySQL”。 数据源名称 选择接入数据源中已配置的MySQL数据源。 目标端表 选择集成数据要写入MySQL数据库中的数据表。 选择数据表后,单击“选择表字段”,可以选择要写入数据的列字段。
-
多个数据源编排 - 应用与数据集成平台 ROMA Connect
多个数据源编排 一个数据API可以包含多个数据源,因此一次API请求可以涉及多个数据源,例如取第一个数据源查询结果作为第二个数据源的参数。 以MySQL为例说明,假设数据API有数据源1和数据源2,user01是数据源1的数据表和user02是数据源2的数据表,两张表的结构如下:
-
FDI各类数据库支持哪些数据类型? - 应用与数据集成平台 ROMA Connect
FDI各类数据库支持哪些数据类型? FDI各类数据库支持的数据类型有: Kafka数据库:string MySQL数据库:integer,bigint,number,varchar,char,float,date,timestamp,datetime Oracle数据库:inte
-
修改数据源 - 应用与数据集成平台 ROMA Connect
数据源为GAUSS100、POSTGRESQL/OPENGAUSS类型时配置“big5” 数据源为MYSQL、GaussDB(for MySQL)类型且mode为default时配置 最小长度:0 最大长度:10 mysql_timeout 否 Integer MYSQL连接超时时间(秒) 最小值:1
-
自定义数据源开发示例(实时任务) - 应用与数据集成平台 ROMA Connect
参考创建数据集成任务(普通任务)接入源端MQS数据源和目标端MySQL数据源,并创建实时任务。完成后运行任务,可以将源端MQS数据源中的数据,迁移到MySQL数据源的表中。 父主题: 数据集成开发指导
-
测试数据源连通性 - 应用与数据集成平台 ROMA Connect
数据源为GAUSS100、POSTGRESQL/OPENGAUSS类型时配置“big5” 数据源为MYSQL、GaussDB(for MySQL)类型且mode为default时配置 最小长度:0 最大长度:10 mysql_timeout 否 Integer MYSQL连接超时时间(秒) 最小值:1
-
配置访问控制策略 - 应用与数据集成平台 ROMA Connect
选择访问控制的动作,与“限制类型”配合使用。 允许:表示仅允许指定的IP地址或账号调用API。 禁止:表示禁止指定的IP地址或账号调用API。 IP地址 仅当“限制类型”选择“IP地址”时需要配置。 单击“增加IP地址”,添加允许或禁止调用API的IP地址或IP地址段。 账号名 仅当“限制类型”选择“账号名”时需要配置。
-
查询指定数据源 - 应用与数据集成平台 ROMA Connect
数据源为GAUSS100、POSTGRESQL/OPENGAUSS类型时配置“big5” 数据源为MYSQL、GaussDB(for MySQL)类型且mode为default时配置 最小长度:0 最大长度:10 mysql_timeout Integer MYSQL连接超时时间(秒) 最小值:1
-
约束与限制 - 应用与数据集成平台 ROMA Connect
定时:支持MySQL、Oracle、SQL Server、PostgreSQL、Hana。 实时:支持MySQL、Oracle、SQL Server。 目标端: 定时:支持MySQL、Oracle、PostgreSQL、SQL Server、Hana。 实时:支持MySQL、Oracle、PostgreSQL、SQL
-
查询数据源 - 应用与数据集成平台 ROMA Connect
数据源为GAUSS100、POSTGRESQL/OPENGAUSS类型时配置“big5” 数据源为MYSQL、GaussDB(for MySQL)类型且mode为default时配置 最小长度:0 最大长度:10 mysql_timeout Integer MYSQL连接超时时间(秒) 最小值:1
-
CipherUtils类说明 - 应用与数据集成平台 ROMA Connect
CipherUtils类说明 路径 com.huawei.livedata.lambdaservice.security.CipherUtils 说明 解密密码箱中密码的key值。 在获取解密密码箱中普通密码的key值时,注意敏感信息保护,避免敏感信息泄露。 方法列表 返回类型 方法和说明
-
通过数据API开放数据 - 应用与数据集成平台 ROMA Connect
仅当“连接模式”选择“专业”时需要配置。 填写MySQL数据库的JDBC格式连接串,例如:jdbc:mysql://{hostname}:{port}/{dbname}。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名 填写连接数据库的用户名。
-
创建组合任务 - 应用与数据集成平台 ROMA Connect
的数据不支持同步。 源端MySQL数据源: 如果MySQL数据库使用的是MGR集群模式,在接入源端数据源时,必须直接连接主节点,不能连节route节点。 如果MySQL数据库中数据量特别巨大,在首次执行数据同步时可能会连接数据库超时,可以通过修改MySQL数据库的超时参数inte
-
创建MQS到数据库的集成任务 - 应用与数据集成平台 ROMA Connect
连接地址 填写MySQL数据库的访问IP地址。 端口 填写MySQL数据库的访问端口,MySQL的默认访问端口为3306,以数据库的实际配置为准。 数据库名 填写数据表所在的数据库名称。 编码格式 数据库所使用的编码格式。 超时时间(秒) 连接数据库的超时时间,单位为秒。 用户名 访问
-
接入数据源 - 应用与数据集成平台 ROMA Connect
接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源 接入SQL Server数据源 接入DAMENG数据源 接入POSTGRESQL数据源 接入SFTP数据源
-
配置客户端访问控制策略 - 应用与数据集成平台 ROMA Connect
配置客户端访问控制策略 概述 客户端访问控制可控制访问API的客户端IP地址,保护后端服务。您可以为客户端设置访问控制策略,允许/禁止某个IP地址的客户端访问API。 设置访问控制策略 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。
-
配置源端数据信息 - 应用与数据集成平台 ROMA Connect
以上面JSON格式数据中含数组的样例为例,目标端为MySQL的配置示例如下所示。 增量迁移配置示例,数据表中需包含DATE、TIME或TIMESTAMP类型的字段,用作时间戳字段。 图6 MySQL增量迁移配置示例 扩展元数据配置示例,从数据表的desc字段中获取子元素c和d。 图7 MySQL扩展元数据配置示例
-
配置索引生命周期策略(可选) - 应用与数据集成平台 ROMA Connect
ElasticSearch存储的数据,默认未设置过期时间,用户可根据磁盘空间情况,为ElasticSearch数据设置索引生命周期策略。 创建生命周期策略 登录Kibana可视化界面。 访问地址:IP:Port 其中,IP为ELK所部署服务器的IP;Port为Kibana端口号,默认为
-
使用Kibana查看日志 - 应用与数据集成平台 ROMA Connect
登录Kibana可视化界面。 访问地址:IP:Port 其中,IP为ELK所部署服务器的IP;Port为Kibana端口号,默认为5601,也可以在修改ELK配置时自定义端口号。如果网络中部署了防火墙,需提前配置防火墙的端口访问权限。 用户名密码:在部署ELK时自定义的用户名和密码。 在页面左上角单击“”,然后选择“Analytics