检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为Topic所属的集成应用选择对Topic的操作权限,此处选择“发布+订阅”,即该Topic可用于生产和消费消息。 分区数 合理设置分区数量,可以提升消息生产与消费的并发性能。 副本数 ROMA Connect会自动在每个副本上备份数据,当其中一个副本故障时数据依然可用,Topic的副本数越多,可靠性越高。
图解应用与数据集成平台
开发规范 开发工具版本要求: IntelliJ IDEA:2018.3.5或以上版本。 Eclipse:3.6.0或以上版本。 Visual Studio:2019 version 16.8.4或以上版本。 开发语言环境版本要求: Java:1.8.111或以上版本的Java Development
转查看安全组的具体配置信息,也可以单击“更改”按钮,绑定新的安全组。 路由 配置私有网段。ROMA Connect实例创建完成后,默认能够与创建时指定的VPC子网网段进行互通,若有额外的私有网段需要与实例互通,可通过该配置项进行路由配置。 连接数 实例中占用连接数的各资源数量,具
函数后端脚本开发说明 开发说明 函数后端通过编写函数脚本实现将多个服务封装成一个服务,在实际开发前请务必提前了解自定义后端开发要求。 函数后端当前仅支持使用JavaScript编写函数,JavaScript引擎运行于Java虚拟机,可调用ROMA Connect提供的Java类实现具体功能。
约束与限制 数据集成 表1 FDI约束与限制 功能模块 约束与限制 数据同步 支持同步的单条数据最大为8M。 时间格式的字段支持的最大精度为秒级别。 表名不支持“-”、“#”等特殊字符。 任务启动后修改表结构会导致任务异常,需要重新启动执行任务。 目标端不支持映射字段全部为主键的表。
None 功能操作 应用与数据集成平台 ROMA Connect 介绍怎样创建ROMA Connect实例 04:08 创建ROMA Connect实例 应用与数据集成平台 ROMA Connect 介绍怎样接入数据源 01:54 接入数据源 应用与数据集成平台 ROMA Connect
约束与限制 您能创建的ROMA Connect资源数量与配额有关系,具体请参见配额说明。 更详细的限制请参见具体API的说明。 父主题: 使用前必读
数据集成任务 MRS Hive目标端写入时出现数据乱码 MRS Hive写入时数据全部写在第一个字段里 目标端任务报任务运行超时 MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes
数据集成API 数据源管理 任务监控管理 任务管理
CodeArts Artifact CodeArts Artifact连接器用于对接华为云CodeArts Artifact服务。 制品仓库(CodeArts Artifact),是面向软件开发者提供软件发布的云服务,提供软件仓库、软件发布、发布包下载、发布包元数据管理等功能,通
附录 获取项目ID 获取账号ID 状态码 错误码 实例支持的APIC特性 数据集成参数说明 获取数据源配置文件
Connect通过时间戳与任务执行时间点进行对比,识别需增量迁移的数据。 源端为DB2的配置与MySQL的类似,配置示例可参考MySQL配置示例。 完成源端信息配置后,继续进行下一部分配置,配置目标端数据信息。 DWS 返回页首 任务的“集成模式”为“定时”时,可以选择DWS(数据仓库服务)作为源端数据源。
SSL认证过程中,客户端使用的公钥库文件,与服务端使用的私钥相匹配。 公钥库密码 仅当“是否开启SSL认证”选择“是”时需要配置。 公钥库文件对应的密码。 私钥库文件 仅当“SSL认证方式”选择“双向认证”时需要配置。 SSL双向认证过程中,客户端使用的私钥库文件,与服务端使用的公钥相匹配。 私钥库密码
SSL认证过程中,客户端使用的公钥库文件,与服务端使用的私钥相匹配。 公钥库密码 仅当“是否开启SSL认证”选择“是”时需要配置。 公钥库文件对应的密码。 私钥库文件 仅当“SSL认证方式”选择“双向认证”时需要配置。 SSL双向认证过程中,客户端使用的私钥库文件,与服务端使用的公钥相匹配。 私钥库密码
端口。 数据源的接入配置示例如下图所示。 图1 FTP数据源配置示例 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功!”,则继续下一步。 若测试结果为“数据源连接失败!”,则检查数据源状态和数据源连接参
{port}为数据库的连接端口号。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功!”,则继续下一步。 若测试结果为“数据源连接失败!”,则检查数据源状态和数据源连接参
续费 续费概述 手动续费 自动续费
数据转换 “数据转换”连接器用于数据流的格式转换,当前支持XML转JSON和JSON转XML。 配置参数 参数 说明 转换模式 选择数据转换的模式,可选择“XML转JSON”和“JSON转XML”。 内容 通过脚本编写需要转换的数据。 可通过变量的方式引用前序步骤中的数据,请参考引用变量。
数据拆分 “数据拆分”组件将传入该节点的数据按照指定的表达式进行拆分,并将拆分的结果通过节点变量传递给后续节点。通常“数据拆分”组件后续会连接“数据筛选”组件以配合使用。 “数据拆分”为异步处理组件,如果一个任务中存在“数据拆分”节点,最终开放的API将返回传入“数据拆分”节点时的数据。