云服务器内容精选

  • 目的端-数据格式为 CS V样例 是否跳过标题:CSV文件的表头,数值 true/false:输出数据是/否含有表头。 分隔符:文件中每列数据通过单元格进行分隔,单元格可以为“制表符”、“空格”、“逗号”、“分号”。 场景1:目的端数据源选择数据格式“CSV”,是否跳过标题:true,字段分隔符:逗号 。 导入文件时,当是否跳过标题选择“true”,默认解析csv第一行为字段名。 源端MySQL数据库表 demo.statistics 中的数据: id city uuid1 suzhou uuid2 shanghai 数据映射输出数据为: ManufacturerId, ProductName uuid1, suzhou uuid2, shanghai 场景2:目的端数据源选择数据格式“CSV”,是否跳过标题:false,字段分隔符:逗号。 导入文件时,当是否跳过标题选择“false”,不使用导入文件的头字段,系统默认设置字段filedN。 源端MySQL数据库表 demo.statistics 中的数据: id city uuid1 suzhou uuid2 shanghai 数据映射输出数据为: uuid1, suzhou uuid2, shanghai
  • 配置参数 参数 说明 源端数据源 设置源端数据源,数据库类型的数据源在选择完表之后会自动显示字段信息,其他格式的数据源需要通过导入文件或者手动增加的形式来添加字段。导入的文件目前主要支持json,xml和csv格式导入。 目的端数据源 设置目的端数据源,数据库类型的数据源在选择完表之后会自动显示字段信息,其他格式的数据源需要通过导入文件或者手动增加的形式来添加字段。导入的文件目前主要支持json,xml和csv格式导入。 如果后续节点想要引用“数据映射”处理器的输出数据,可通过${节点id|payload.xxx}的形式来引用。节点id可通过单击“数据映射”处理器获取到。
  • 源端-数据格式为JSON样例 当源端数据源的类型为“JSON”时,在使用数据映射时选择数据格式“JSON”,将源端数据源的输出作为源端数据源页签中“导入文件”的输入,根据文件的编码格式格式选择导入文件编码,可选项有GB2312、UTF-8和ASCII。此时源端数据源页签中会根据导入的文件内容自动生成相应的字段。 目的端数据格式选择“MySQL”,在选择表名后,目的端数据源页签会自动生成数据库表中的字段。 以下面的组合应用为例,该组合应用的主要功能是调用Open API获取OBS指定桶的对象列表,并将结果中的桶名称和对象名称通过数据映射,映射到MySql指定表中的相关字段,然后使用MySql添加记录的操作将桶名和对象名存储到MySql中。其中, 对象存储服务 OBS产生的结果是数据映射的源端数据源,MySql是目的端数据源。可以通过使用Open API调用OBS连接器执行获取桶内对象列表的操作结果获得远端数据源的导入文件。也可以根据OBS连接器执行获取桶内对象列表的操作结果手动添加字段信息。 源端导入的文件内容: { "responseHeaders": { "bucket-location": "cn-north-7", "connection": "keep-alive", "content-length": "504", "content-type": "application/xml", "date": "2024-04-24T07:07:43.000+00:00", "id-2": "32AAAQAAEAABAAAQAAEAABAAAQAAEAA BCS bOSbK ncLEgZnxffa8vFPuDgVIt7n9", "request-id": "0000018F0EEE84734012ACF15A46395E", "server": "OBS" }, "originalHeaders": { "connection": "keep-alive", "content-length": "504", "content-type": "application/xml", "date": "Wed, 24 Apr 2024 07:07:43 GMT", "server": "OBS", "x-obs-bucket-location": "cn-north-7", "x-obs-id-2": "32AAAQAAEAABAAAQAAEAABAAAQAAEAABCSbOSbK+ncLEgZnxffa8vFPuDgVIt7n9", "x-obs-request-id": "0000018F0EEE84734012ACF15A46395E" }, "statusCode": 200, "objectSummaries": [ { "bucketName": "test0223", "objectKey": "test0424.txt", "owner": { "displayName": null, "id": "0ab78f256080d2890feac0086234d7c0" }, "metadata": { "responseHeaders": {}, "originalHeaders": {}, "statusCode": 0, "lastModified": "2024-04-24T06:51:46.566+00:00", "contentLength": 19, "contentType": null, "contentEncoding": null, "contentDisposition": null, "cacheControl": null, "contentLanguage": null, "expires": null, "etag": "\"0b26e313ed4a7ca6904b0e9369e5b957\"", "contentMd5": null, "crc64": null, "storageClass": "STANDARD", "webSiteRedirectLocation": null, "nextPosition": -1, "appendable": false, "objectStorageClass": "STANDARD", "allMetadata": {}, "metadata": {}, "requestId": "" }, "objectContent": null } ], "commonPrefixes": [], "extendCommonPrefixes": [], "bucketName": "test0223", "truncated": false, "prefix": "", "marker": "", "maxKeys": 1000, "delimiter": null, "nextMarker": null, "location": "cn-north-7", "extenedCommonPrefixes": [], "objects": [ { "bucketName": "test0223", "objectKey": "test0424.txt", "owner": { "displayName": null, "id": "0ab78f256080d2890feac0086234d7c0" }, "metadata": { "responseHeaders": {}, "originalHeaders": {}, "statusCode": 0, "lastModified": "2024-04-24T06:51:46.566+00:00", "contentLength": 19, "contentType": null, "contentEncoding": null, "contentDisposition": null, "cacheControl": null, "contentLanguage": null, "expires": null, "etag": "\"0b26e313ed4a7ca6904b0e9369e5b957\"", "contentMd5": null, "crc64": null, "storageClass": "STANDARD", "webSiteRedirectLocation": null, "nextPosition": -1, "appendable": false, "objectStorageClass": "STANDARD", "allMetadata": {}, "metadata": {}, "requestId": "" }, "objectContent": null } ], "requestId": "0000018F0EEE84734012ACF15A46395E" } 数据映射输出结果为:
  • 创建PostgreSQL连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。 选择“PostgreSQL”连接器。 在弹窗中配置连接器信息,完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 区域 选择区域。 项目 选择项目。 实例 选择实例,用于后续验证连通性。 连接与安全 选择数据库的连接模式。 默认:由系统根据用户配置自动拼接数据源连接字符串。 专业:由用户自己输入数据源连接字符串。 主机IP地址 仅当“连接与安全”选择“默认”时需要配置。 填写数据库的连接IP地址。 端口 仅当“连接与安全”选择“默认”时需要配置。 填写数据库的连接端口号。 数据库名 仅当“连接与安全”选择“默认”时需要配置。 填写要连接的数据库名。 连接字符串 仅当“连接与安全”选择“专业”时需要配置。 填写PostgreSQL数据库的JDBC格式连接串,例如:jdbc:postgresql://{hostname}:{port}/{dbname}。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。
  • 创建Oracle连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。 选择“Oracle”连接器。 在弹窗中配置连接器信息,完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 区域 选择区域。 项目 选择项目。 实例 选择实例,用于后续验证连通性。 连接与安全 选择数据库的连接模式。 默认:由系统根据用户配置自动拼接数据源连接字符串。 专业:由用户自己输入数据源连接字符串。 主机IP地址 仅当“连接与安全”选择“默认”时需要配置。 填写数据库的连接IP地址。 端口 仅当“连接与安全”选择“默认”时需要配置。 填写数据库的连接端口号。 数据库名 仅当“连接与安全”选择“默认”时需要配置。 填写要连接的数据库名。 编码格式 仅当“连接与安全”选择“默认”时需要配置。 填写数据库的编码格式。 超时时间 仅当“连接与安全”选择“默认”时需要配置。 填写连接数据库的超时时间。 连接字符串 仅当“连接与安全”选择“专业”时需要配置。 填写Oracle数据库的JDBC格式连接串,例如:jdbc:oracle:thin:@{hostname}:{port}:{dbname}。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。
  • 创建MySQL连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。 选择“MySql”连接器。 在弹窗中配置连接器信息,完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 区域 选择区域。 项目 选择项目。 实例 选择实例,用于后续验证连通性。 连接与安全 选择数据库的连接模式。当前支持“默认”模式,由系统根据用户配置自动拼接数据源连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。
  • 创建Sql Server连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。 选择“Sql Server”连接器。 在弹窗中配置连接器信息,完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 区域 选择区域。 项目 选择项目。 实例 选择实例,用于后续验证连通性。 连接与安全 选择数据库的连接模式。当前支持“默认”模式,由系统根据用户配置自动拼接数据源连接字符串。 默认:由系统根据用户配置自动拼接数据源连接字符串。 专业:由用户自己输入数据源连接字符串。 主机IP地址 仅当“连接与安全”选择“默认”时需要配置。 填写数据库的连接IP地址。 端口 仅当“连接与安全”选择“默认”时需要配置。 填写数据库的连接端口号。 数据库名 仅当“连接与安全”选择“默认”时需要配置。 填写要连接的数据库名。 连接字符串 仅当“连接与安全”选择“专业”时需要配置。 填写Sql Server数据库的JDBC格式连接串,例如:jdbc:sqlserver://{hostname}:{port};DatabaseName={dbname}。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。
  • 启动数据集成任务 数据集成任务创建后,“任务状态”为“停止”状态,此时任务不会执行,需先启动任务。 实时任务启动后,ROMA Connect会不断检测源端数据变更。首次执行时,会把所有符合条件的源端数据集成到目标端,后续若检测到新增数据,则将其集成到目标端。 定时任务启动后,ROMA Connect按照任务计划进行数据集成。首次执行时,会把所有符合条件的源端数据集成到目标端,后续根据任务配置,集成符合条件的全量数据或只集成增量数据。 启动数据集成任务。 在数据集成任务左侧勾选上要启动的任务,单击任务列表上方的“启动”,启动任务。任务启动成功后,“任务状态”变为“启动”。 任务启动后,任务状态为“执行中”,待任务状态为“执行成功”,则表示该数据集成任务执行完成。 执行完成后,可在目标端数据库的数据表中查看集成同步过来的数据。
  • 前提条件 确保业务系统所在网络与ROMA Connect的网络互通。 若通过公网互通,ROMA Connect实例需绑定弹性IP。 确保业务系统的数据库为ROMA Connect支持的数据源类型。 数据API支持的数据源请参见服务集成支持的数据源。 准备一个可用的独立 域名 ,用于作为API的访问域名。 确保已完成独立域名到“服务集成APIC连接地址”的域名解析配置,具体请参考增加A类型记录集。 若还没有独立域名,您可以通过 域名注册服务 申请域名,并通过备案中心完成域名备案。 如果数据API使用HTTPS请求协议,您还需要为独立域名申请SSL证书,并获取pem格式的SSL证书内容和密钥。
  • 在中台实例创建API 在中台实例创建并开放API,使用子公司实例中的API作为后端服务。各子公司或合作伙伴通过调用中台实例开放的API,实现对各子公司能力的调用。 创建API的过程请参考创建API,仅后端配置有如下区别。 表7 API后端服务配置 参数 配置说明 后端服务类型 选择后端服务的类型。使用子公司实例的API作为后端服务时,需选择“HTTP/HTTPS”。 负载通道 是否使用负载通道访问后端服务。使用子公司实例的API作为后端服务时,需选择“使用”。 URL 配置后端服务的URL。 请求方法:选择后端服务的请求方法,根据子公司实例中API的请求方法选择。 请求协议:选择后端服务使用的请求协议,根据子公司实例中API的请求协议选择。 负载通道:选择访问后端服务所使用的负载通道,选择配置级联实例间的负载通道所创建的负载通道。 路径:填写后端服务的请求路径,格式如:/getUserInfo/{userId}。请求路径中可包含Path参数,以{参数名}形式表示。 如果请求路径中需要携带环境变量,则使用“#变量名#”的形式将环境变量添加到请求路径中,如/#path#。环境变量名严格区分大小写,支持添加多个环境变量,如/#path##request#。 级联标识 是否使用级联方式访问后端服务,选择开启。 自定义host头域 自定义后端服务请求中的Host头域。若配置级联实例间的负载通道中创建负载通道时,“后端服务器地址”填写了IP地址,则此处需要填写子公司实例API的域名。 后端超时 (ms) 后端服务请求的超时时间,默认为5000ms。 重试次数 ROMA Connect调用后端服务失败后的重试次数。 值为-1时,表示不开启重试功能。 值为0-10时,表示开启重试功能,并根据设置的值执行重试。重试次数不能大于负载通道中已启用的后端服务器个数。 TLS双向认证 仅当“协议”选择“HTTPS”时可配置。 选择是否在ROMA Connect和后端服务间启用双向认证。使用子公司实例的API作为后端服务时,不启用双向认证。 后端认证 选择是否启用后端认证。使用子公司实例的API作为后端服务时,不启用后端认证。
  • 配置实例间的级联关系 配置中台实例到各子公司实例的级联关系,使中台实例可使用各子公司实例的开放API作为后端服务。 在子公司实例配置级联功能。 登录子公司实例A所在的ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在“实例信息”页面选择“配置参数”页签,并找到级联功能开关参数“cascade”。 单击参数右侧的“编辑”,把参数运行值设置为“on”,然后单击“保存”,打开级联功能开关。 单击参数左侧的“”,展开并配置级联相关配置参数。 表1 子公司实例配置 参数 配置说明 cascade_auth_key 级联认证的加密密钥,用于级联API之间的调用认证。子公司实例和中台实例的cascade_auth_key值必须配置一致。 cascade_instance_ids 填写中台实例的实例ID。 重复1.a-1.d,配置在子公司B的ROMA Connect实例上配置级联功能。 在中台实例配置级联功能。 登录中台实例所在的ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在“实例信息”页面选择“配置参数”页签,并找到级联功能开关参数“cascade”。 单击参数右侧的“编辑”,把参数运行值设置为“on”,然后单击“保存”,打开级联功能开关。 单击参数左侧的“”,展开并配置级联相关配置参数。 表2 中台实例配置 参数 配置说明 cascade_auth_key 级联认证的加密密钥,用于级联API之间的调用认证。公司实例和中台实例的cascade_auth_key值必须配置一致。 cascade_instance_ids 中台实例中无需配置该参数。
  • 创建Oracle连接器 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。 选择“Oracle”连接器。 在弹窗中配置连接器信息,完成后单击“测试连接”。 参数 说明 连接名称 填写连接器实例名称Oracle_test。 区域 选择区域。 项目 选择项目。 实例 选择实例,用于后续验证连通性。 连接与安全 选择数据库的连接模式。本实践选择默认模式。 默认:由系统根据用户配置自动拼接数据源连接字符串。 专业:由用户自己输入数据源连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 pdb数据库名 填写要连接的pdb数据库名。 编码格式 填写数据库的编码格式。 超时时间 填写连接数据库的超时时间。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 连接成功后,单击“确定”,保存连接器。 父主题: 定时同步MySQL中的数据到Oracle
  • 方案概述 为了确保数据的实时性和一致性,可以周期性地将MySQL数据库中的数据同步至Oracle数据库中。这一过程会按照预设的时间间隔精确执行,通过模板“定时同步MySql中的数据到Oracle”创建组合应用,系统会自动抓取MySQL数据库中的最新数据记录,并将其无缝对接到Oracle数据库中,实现两个数据库之间的高效、准确的数据更新与同步。这样不仅能够减少人工操作带来的错误和遗漏,Oracle数据库中的数据都能反映出MySQL数据库的最新状态,满足业务系统的数据需求和数据分析的一致性要求。 父主题: 定时同步MySQL中的数据到Oracle
  • 创建MySQL连接器 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。 选择“MySql”连接器。 在弹窗中配置连接器信息,完成后单击“测试连接”。 参数 说明 连接名称 填写连接器实例名称MySql_test。 区域 选择区域。 项目 选择项目。 实例 选择实例,用于后续验证连通性。 连接与安全 选择数据库的连接模式。当前支持“默认”模式,由系统根据用户配置自动拼接数据源连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息。 连接成功后,单击“确定”,保存连接器。 父主题: 定时同步MySQL中的数据到Oracle
  • 选择模板创建组合应用 登录新版ROMA Connect控制台。 在左侧导航栏选择“资产目录”,在右测搜索框搜索“定时同步”,选择“定时同步MySql中的数据到Oracle”模板,单击“使用模板”。 本实践中MySQL数据源表中的字段与Oracle中数据目标表中的字段类型保持一致。 将MySQL数据表中的aa、bb字段同步到Oracle数据表中的TEST_INTEGER、TEST_VARCHAR字段,需要提前在数据库中创建好对应的数据表和字段。 图1 定时同步MySQL中的数据到Oracle 在组合应用编排页面,对定时器、MySQL和Oracle连接器进行参数配置。 配置定时器参数。 单位:分钟。 间隔:1。表示每隔1分钟执行一次。 在这些秒:0。表示在每分钟的第0秒开始执行。 时区:GMT 任务模式:并行。 立即执行一次:否。 图2 定时器配置 配置MySQL参数。 选择连接,选择之前已创建的MySQL连接器“MySql_test”。 选择动作,选择模板已选择好的“获取记录”。 配置参数。选择需要同步的表名,字段名选择“aa”和“bb”,其他参数保持默认。 图3 MySQL配置 配置循环处理器,保持默认配置即可。 配置Oracle参数。 选择连接,选择之前已创建的Oracle连接器“Oracle_test”。 选择动作,选择模板已选择好的“添加记录”。 配置参数。输入目标端的表名,插入数据选择字段名TEST_INTEGER、TEST_VARCHAR,值配置为${500885|payload.aa}、${500885|payload.bb},其中500885为循环处理器的节点ID值,其他参数保持默认。 图4 配置Oracle 完成后单击右上角的“保存”。 在新建组合任务弹窗中填写组合应用的名称和描述,然后单击“确定”,完成组合应用的创建。 单击右上角的“启动”。 在弹窗中选择区域、项目,并选择已创建好的ROMA Connect实例,单击“确认”,启动该组合应用。 父主题: 定时同步MySQL中的数据到Oracle