检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源端API类型数据源自定义周期如何设置? 创建FDI普通任务时,当源端数据源选择API类型并且开启增量迁移时,支持自定义周期,自定义周期配置详细说明可参照以下示例: 当粒度单位为“小时”时,分别有以下四种配置场景。 以时间点2020-11-05 22:10为例,如下图。 周期指定
OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? 任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致,需修改任务配置,按照文件中列的顺序填写元数据。 父主题: 数据集成普通任务
Kafka Kafka是一个分布式流处理平台,最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台,可以处理大量的实时数据流。Kafka主要由三个部分组成:生产者、消费者和代理服务器。生产者将数据发布到Kafka集群,消费者从Kafka集群订阅数据并进行处理,代理服务器则是Kafka
Kafka Kafka是一个分布式流处理平台,最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台,可以处理大量的实时数据流。Kafka主要由三个部分组成:生产者、消费者和代理服务器。生产者将数据发布到Kafka集群,消费者从Kafka集群订阅数据并进行处理,代理服务器则是Kafka
Consumer使用建议 Consumer的owner线程需确保不会异常退出,避免客户端无法发起消费请求,阻塞消费。 确保处理完消息后再做消息commit,避免业务消息处理失败,无法重新拉取处理失败的消息。 Consumer不能频繁加入和退出group,频繁加入和退出,会导致Consumer频繁做rebalance,阻塞消费。
能力。API分为两部分,第一部分为面向API使用者的API接口,定义了使用者如何调用这个API。第二部分面向API提供者,由API提供者定义这个API的真实的后端情况,定义了ROMA Connect如何去访问真实的后端服务。API的真实后端服务目前支持三种类型:传统的HTTP/H
String 源端数据库模式,gauss100数据库使用。 sourceSelectedColumnList 否 List<Column> 源端选择的字段名列表,关系型数据库使用。 orderColumn 否 String 源端排序的字段名,可为空,关系型数据库使用。 orderType
数据源参数对象。包括连接器接数据库依赖的参数,所有参数组成的Json体。 params 是 Params 连接器所需参数对象。 meta-data 是 List<Meta-data> 元数据参数列表。 datas 是 List<Object> 连接器处理的数据列表。 表7 Params说明
获取jedis的超时时间,默认1000秒 返回信息 返回超时时间 public void setDatabase(int database) 设置redis的database 输入参数 database:database public void setIp(String[] ip) 设置ip地址 输入参数 ip:IP地址
使用ROMA Connect进行消息集成,有如下优势: 支持原生Kafka特性 兼容社区版Kafka的API,具备原生Kafka的所有消息处理特性。 支持安全的消息传输 独有的安全加固体系,提供业务操作云端审计,消息传输加密等有效安全措施。通过SASL认证,安全组等加强网络访问控制。
Connect提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用,调用方法请参见如何调用API。 父主题: 使用前必读
ConsumerRecords<Object, Object> records = consumer.poll(1000); System.out.println("the numbers of topic:" + records.count());
SQL语法 数据后端与各数据库的SQL语法差异 如果需要把后端服务请求中携带的参数传递给SQL,使用${参数名}的方式传递,其中String类型的参数需要用单引号括起来,int类型的参数则不需要。 如以下示例,name为String类型参数,id为int类型参数。 select *
to create the instance. failed to query the instance. Database error. querying database failed. LINK实例不存在 请联系技术支持工程师协助解决。 404 ROMA.00110006 The
serverAddr:网关的服务器地址 $context.serverName:网关的服务器名称 $context.handleTime:本次API调用的处理时间 $context.providerAppId:API拥有者的应用对象ID,暂不支持使用 $context.clientCertCN:
Mapping映射时会区分大小写,源端字段、目标端字段都必须和所选择的字段大小写一致。若不一致,MRS Hive和MRS HBase将会运行异常,MongoDB数据库不受影响,运行正常。 父主题: 数据集成普通任务
连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 数据库地址列表 仅当“连接模式”选择“多地址”时需要配置。 填写分布式数据库系统的连接地址和端口号,单击“添加地址”添加多个地址和端口号。
连接模式 选择数据库的连接方式。 默认:使用系统默认方式连接数据库。 专业:使用JDBC连接字符串方式连接数据库。 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 连接字符串
址。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 认证源 填写用于接入认证的MongoDB数据库名,即使用MongoDB的哪个数据库对接入用户进行认证。不填写则默认使用当前要接入的数据库对用户进行认证。 数据库名 填写要接入的数据库名。 集群模式 要接入的MongoDB数据库是否为集群模式。
连接模式 选择数据库的连接方式。 默认:使用系统默认方式连接数据库。 专业:使用JDBC方式连接数据库。 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 连接字符串