检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
integration mode. 数据源不支持实时集成模式。 检查数据源配置。 400 FDI.3060 The data source does not support the scheduled integration mode. 数据源不支持定时集成模式。 检查数据源配置。 400 FDI
端的一个数据表中。 前提条件 已完成源端数据源和目标端数据源的接入,具体操作请参考接入数据源。 在源端数据源接入配置中,“数据库名”的大小写应与实际数据库名保持一致,否则会导致数据同步失败。 源端数据源已开启CDC功能,根据不同的数据源类型和CDC实现模式,具体操作请参考: 配置Oracle
本节主要提供数据集成任务映射规则的配置说明。可以通过配置ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写入目标端的数据。规则映射有映射模式和脚本模式两种模式,其中映射模式包含自动配置和手动配置两种方式。 源端与目标端字段名请勿使用对应数据库的关键字,否则可能导致任务运行异常。
影响任务保存。 配置异常数据存储 在配置异常数据存储前,您需要提前完成OBS数据源的接入配置,具体请参见接入OBS数据源。 在创建任务页面中配置异常数据存储信息。 表1 异常数据存储信息 参数 配置说明 集成应用 选择OBS数据源所属的集成应用。 源端数据类型 当前仅支持选择“OBS”。
数据筛选 “数据筛选”组件对传入该组件的数据按照指定的表达式进行筛选,并将筛选出的结果通过节点变量传递给后续节点。通常“数据筛选”组件会作为“数据拆分”组件的后续步骤以配合使用。 配置参数 参数 说明 表达式 数据筛选的表达式。 使用表达式对数据进行筛选,并传递给后续节点。例如数
您可单击弹窗左上方的“”,修改集成应用的名称。 在左侧的“数据源”中,选择类型并单击“”展开,再选择数据源组件拖拽至集成应用中,作为源端节点。 单击源端数据源节点进行配置,选择对应数据源。 如果无可用数据源,可单击“添加数据源”进行添加,具体请参考数据源管理。 添加目标端节点。 在左侧的“基础组件”中拖拽“集成应用”至编排区域。
List<MetaData> 数据源的元数据定义对象,仅当“是否解析(is_parse)”选择“是”时需要配置。 对于FTP数据源类型,元数据必须按照文件中的字段顺序填写。 数据源为API、FTP配置。 path 否 String 文件路径,文件型数据源,为必填项。 write_mode
向DWS写入数据时越来越慢怎么解决 原因分析 查看界面上的采集数据,如果写入数据耗时在秒级,属于正常的情况。如果写入几千条数据超过5秒,一般是性能劣化的表现。 解决方案 如果对DWS的某个表频繁访问,会导致写入性能逐渐降低,需要对DWS进行调优,例如,定时使用analyze规划表、VACUUM
数据拆分 “数据拆分”组件将传入该节点的数据按照指定的表达式进行拆分,并将拆分的结果通过节点变量传递给后续节点。通常“数据拆分”组件后续会连接“数据筛选”组件以配合使用。 “数据拆分”为异步处理组件,如果一个任务中存在“数据拆分”节点,最终开放的API将返回传入“数据拆分”节点时的数据。
例将被释放,数据无法恢复。 图1 按需计费ROMA Connect资源生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 避免和处理欠费 若ROMA Connect实例不再使用,您可以将他们删除,以免继续扣费。实例删除后,数据无法恢复,如需保存缓存数据,请提前执行数据备份并下载保存。
数据转换 “数据转换”连接器用于数据流的格式转换,当前支持XML转JSON和JSON转XML。 配置参数 参数 说明 转换模式 选择数据转换的模式,可选择“XML转JSON”和“JSON转XML”。 内容 通过脚本编写需要转换的数据。 可通过变量的方式引用前序步骤中的数据,请参考引用变量。
个数的元数据。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。 解析路径:元数据的完整路径,具体请参见元数据解析路径配置说明。 映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写
pe 否 String 源端数据源类型。 source_datasource 否 String 源端数据源名称。 source_ds_id 否 String 源端数据源ID。 target_datasource_type 否 String 目标端数据源类型。 target_datasource
修改组合任务 重置组合任务进度 创建组合任务映射 查询组合任务的映射列表 修改组合任务映射 删除指定任务映射 组合任务自动映射 父主题: 数据集成API
MQS连接开发(开源客户端) Java客户端使用说明 Python客户端使用说明 Go客户端使用说明 C#客户端使用说明 其他语言客户端使用说明 附录:如何提高消息处理效率 附录:spring-kafka对接限制 父主题: 消息集成开发指导
APIC是否支持多后端节点方案? 使用iOS系统时,如何进行APP认证? 怎样保证API对应的后端服务器的安全? 对API的修改是否需要重新发布? API发布到RELEASE环境可以正常访问,发布到非RELEASE环境无法访问? API发布到不同环境后,会调用不同的后端服务吗? 部署在VPC下的应用是否可以调用API?
创建实例时为什么无法查看子网和安全组等信息? 实例创建后,支持修改VPC和子网吗? 是否支持跨VPC和跨子网访问ROMA Connect? 同一个实例中,为什么看到的数据跟其他人看到的不一样?
连接器 触发器 HTTP 数据库 华为云服务 SaaS应用 邮箱 其他 消息系统 自定义连接器
目标端集成应用 选择DB2数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“DB2”。 数据源名称 选择接入数据源中已配置的DB2数据源。 目标端表 选择待集成数据要写入的数据表。选择数据表后,单击“选择表字段”,可以选择只需要写入的数据列字段。 批次号字段 选择
表名 填写要插入数据的数据表名。 插入数据 填写插入操作中目标字段的值。 表3 更新记录 参数 说明 表名 填写要更新数据的数据表名。 更新数据 填写更新操作中目标字段的值。 WHERE条件 填写要更新数据的条件。 表4 删除记录 参数 说明 表名 填写要删除数据的数据表名。 WHERE条件