检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请检查数据源服务器端IP白名单限制是否添加FDI数据面IP。 请检查数据源IP是否为客户自有的数据中心或私有网,如果是请先建立VPN连接。 如何创建VPN连接请参考创建VPN连接。 请检查是否添加了FDI到数据源之间的路由。 IP为私网地址,并且不在10.0.0.0/8, 172.16.0.0/12, 192.168
OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? 任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致,需修改任务配置,按照文件中列的顺序填写元数据。 父主题: 数据集成普通任务
向DWS写入数据时越来越慢怎么解决 原因分析 查看界面上的采集数据,如果写入数据耗时在秒级,属于正常的情况。如果写入几千条数据超过5秒,一般是性能劣化的表现。 解决方案 如果对DWS的某个表频繁访问,会导致写入性能逐渐降低,需要对DWS进行调优,例如,定时使用analyze规划表、VACUUM
套餐包计费:根据购买的套餐包规格提供对应的RCU时额度,使用过程中优先抵扣套餐包中的RCU时额度,超过额度的使用量按需计费。套餐包按月购买,当月生效的套餐包额度仅当月有效,额度余量过期失效,不可结转到下月使用。 例如购买了1000RCU时/月规格的套餐包,开通5RCU的实例,则当月内该
合作伙伴之间的集成面临这些瓶颈: 地域差异 集团总部和集团子公司、合作伙伴所处的地域不同,时区不同,降低了数据的时效性和可靠性。 云服务差异 集团总部和集团子公司、合作伙伴使用的云服务不一样,调用不同的云服务存在困难。 网络差异 集团总部和集团子公司、合作伙伴使用的网络不一样,公网、专网、VPN之间的对接难度很高。
实例的资源配额之间并没有直接关联关系。 连接数说明:业务系统和Site的交互即为连接,使用不同功能所占用的连接数不同,具体的资源和连接数换算关系如下。 数据集成:2个运行状态的数据集成任务占用1个连接。 服务集成:10个托管类API(非自定义后端发布生成的API)占用1个连接;5个函数API或数据API占用1个连接。
Kafka业务迁移指将连接其他Kafka的生产与消费消息的客户端切换成连接ROMA Connect,部分还涉及将持久化的消息文件迁移到ROMA Connect上。 在业务迁移过程中,连续性要求高的业务,需要平滑迁移,不能有长时间的中断。 迁移准备 确保消息生产与消费客户端与ROMA Connect实例的消息集成
Integer 否 设定队列可消费的消息为0时的读取消息等待时间。 如果在等待时间内有新的消息,则立即返回消费结果,如果等待时间内没有新的消息,则到等待时间后返回消费结果。取值范围:1~30s。 默认值:3s max_msgs Integer 否 获取可消费的消息的条数。取值范围:1~10。默认值:10
按需计费:根据购买的RCU数量,按实际使用时长计费。以小时为单位进行结算,不足一小时按照实际使用时间进行计算。 套餐包计费:根据购买的套餐包规格提供对应的RCU时额度,使用过程中优先抵扣套餐包中的RCU时额度,超过额度的使用量按需计费。套餐包按月购买,当月生效的套餐包额度仅当月有
A Connect实例的RCU数量与实际使用时长计费。 套餐包是一种预付费模式,即先付费再使用,根据购买的套餐包规格提供对应的RCU时额度,新版ROMA Connect实例使用过程中优先抵扣套餐包中的RCU时额度,超过额度的使用量按需计费。 关于计费模式的详细介绍请参见计费模式。
策略名称 填写访问控制策略的名称,根据规划自定义。建议您按照一定的命名规则填写访问控制策略名称,方便您快速识别和查找。 类型 选择访问控制策略的限制类型。 IP地址:限制可调用API的IP地址。 账号名:仅适用IAM认证类型的API,限制可用于调用API的账号。 仅支持配置账号名,
max_cpu_time 允许函数API中执行的CPU时间占用的最高时长。单位:毫秒。 60000 ms 1-1000000 ms max_memory 允许函数API中执行的内存大小。单位:字节。 256 M 1-9536 M livedata_env 自定义后端的运行模式,设置为online时
附录:自定义后端的Swagger扩展定义 概述 ROMA Connect在Swagger原有定义的基础上,定义了特有的API定义项,即扩展定义,如认证方式、函数脚本定义等。本章节主要介绍自定义后端使用的扩展定义。 1:x-livedata-auth-type 含义:基于Swagg
数据集成组合任务 目标表中配置的RowId字段类型不正确导致写入数据失败 读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误
获取API的“请求协议”、“入参定义”和“请求体内容描述”。 获取API的认证信息 根据API使用的安全认证方式不同,还要获取相关的请求认证信息: 认证方式 认证信息 APP认证(签名认证) 向API提供方获取该API所授权集成应用的Key和Secret(或客户端的AppKey
"success" } ] } 响应消息 响应参数 参数 类型 说明 success Integer 确认消费成功的数目。 fail Integer 确认消费失败的数目。 响应示例 { "success": 1, "fail": 0 } 父主题: MQS连接开发(RESTful
FDI任务只能采集单张表到单张表吗? 用户创建的FDI任务,同一账号的其他用户可见吗? FDI通过公网对接其他租户的MRS HIVE如何配置? 从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? MRS Hive目标字
API级联是指同一区域或不同区域的两个ROMA Connect实例可以建立级联关系,级联实例中的API可以使用被级联实例中的API作为后端服务,实现跨实例间的API调用。级联实例间的API调用使用专属的认证通道,避免被级联实例的API作为后端服务时的认证冲突问题。 级联实例:使用其他实例中的API作为后端服务的实例。
批量生产(发送)消息可以灵活使用,在消息并发多的时候,批量发送,并发少时,单条发送。这样能够在减少调用次数的同时保证消息发送的实时性。 图2 消息逐条生产与消费 此外,批量消费消息时,消费者应按照接收的顺序对消息进行处理、确认,当对某一条消息处理失败时,不再需要继续处理本批消息中的后续消息,直接对已正确处理的消息进行确认即可。
在左侧的导航栏选择“数据集成 FDI > 监控调度”。 在监控调度页面中可根据任务状态和任务名称筛选要查看的任务的状态、调度模式、调度周期以及最近执行时间等信息等。 组合任务还可以查看重置同步进度,读取表的全量数据时间及等信息。 单击任务上的“调度日志”,可查看该任务的详细调度日志。