检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
7,您可以在ROMA Connect实例控制台的“实例信息”页面,在“MQS基本信息”下查看Kafka版本信息。Java开源客户端的版本使用请参见客户端版本使用建议。 根据实例的Kafka版本信息使用对应版本的客户端,此处以2.7.2版本客户端为例进行说明。 <dependency>
HDFS数据源前,您需要先接入数据源。 若两个数据集成任务分别使用了不同版本的MRS数据源(包含MRS Hive、MRS HDFS和MRS HBase),且该MRS数据源均开启了Kerberos认证,则这两个数据集成任务不能同时运行,否则会导致集成任务运行失败。 前提条件 每个接入的数据源都要归属到某个集成应用下,在
若两个数据集成任务分别使用了不同版本的MRS数据源(包含MRS Hive、MRS HDFS和MRS HBase),且该MRS数据源均开启了Kerberos认证,则这两个数据集成任务不能同时运行,否则会导致集成任务运行失败。 数据集成中仅支持百万以内数据量。 前提条件 每个接入的数据源都要归属到某
运行Demo报“java.lang.IllegalArgumentException: {IP address}_{timestamp}”错误 原因分析 ROMA Connect实例未绑定弹性公网IP。 解决方案 购买新的弹性公网IP或使用已有的弹性公网IP与ROMA Conne
请求参数匹配编排规则的生效优先级与列表顺序保持一致,列表中靠前的配置匹配优先级较高; 如果编配规则列表中包含none_value类型的规则,则none_value类型的规则优先级最高,至多绑定一个none_value类型的规则; 如果编排规则列表中包含default类型的规则,则def
OPENGAUSS:GaussDB数据源 MYSQL:MySQL数据源 ORACLE:Oracle数据源 POSTGRESQL:PostgreSQL数据源 SQLSERVER:SQL Server数据源 TAURUS:GAUSSDB(FOR MYSQL)数据源 DIS:DIS数据源 DWS:DWS数据源
于业界主流数据库之间的数据迁移、同步场景,建议使用数据复制服务DRS;对于关系型数据库、大数据、文本等数据迁移到数据湖的场景,建议使用云数据迁移CDM。 表1 接入数据源 数据源接入配置 普通任务支持的集成模式(源端) 普通任务支持的集成模式(目标端) 组合任务支持的集成模式(源端)
请求参数匹配编排规则的生效优先级与列表顺序保持一致,列表中靠前的配置匹配优先级较高 如果编排规则列表中包含none_value类型的规则,则none_value类型的规则优先级最高,至多绑定一个none_value类型的规则; 如果编排规则列表中包含default类型的规则,则defa
接入Kafka数据源 接入MySQL数据源 接入MongoDB数据源 接入MQS数据源 接入MRS Hive数据源 接入MRS HDFS数据源 接入MRS HBase数据源 接入MRS Kafka数据源 接入OBS数据源 接入Oracle数据源 接入PostgreSQL数据源 接入Redis数据源
目的端数据格式选择“MySQL”,在选择表名后,目的端数据源页签会自动生成数据库表中的字段。 以下面的组合应用为例,该组合应用的主要功能是调用Open API获取OBS指定桶的对象列表,并将结果中的桶名称和对象名称通过数据映射,映射到MySql指定表中的相关字段,然后使用MySql添加记录的
断点,工作流会自动运行至结束,或者在运行出错的节点停止,并展示错误信息。 运行到结束:当工作流处于调试状态,停留在某一节点时,单击“运行到结束”,工作流会自动运行至结束,或者在运行出错的节点停止,并展示错误信息。 停止运行:当工作流处于调试状态,单击“停止运行”,工作流会终止本次调试过程。
OPENGAUSS:GaussDB数据源 MYSQL:MySQL数据源 ORACLE:Oracle数据源 POSTGRESQL:PostgreSQL数据源 SQLSERVER:SQL Server数据源 TAURUS:GAUSSDB(FOR MYSQL)数据源 DIS:DIS数据源 DWS:DWS数据源
果您是使用的开源Kafka客户端,请参考MQS连接开发(开源客户端)。 前提条件 已有可用的Topic,否则请提前创建Topic。 根据ROMA Connect实例的Kafka版本,下载对应版本的开源Kafka命令行工具。 您可以在ROMA Connect实例控制台的“实例信息”
若两个数据集成任务分别使用了不同版本的MRS数据源(包含MRS Hive、MRS HDFS和MRS HBase),且该MRS数据源均开启了Kerberos认证,则这两个数据集成任务不能同时运行,否则会导致集成任务运行失败。 前提条件 每个接入的数据源都要归属到某个集成应用下,在
从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? 如果是采集同一个文件,每次在OBS上更新文件,目标端数据库有主键情况下,每次会根据主键更新数据。 如果是采集多个文件,目标端数据库有主键且主键相同的情况下,每次都会更新成时间最早的文件里的值,即数据内容没有变化
PI请求可以涉及多个数据源,例如取第一个数据源查询结果作为第二个数据源的参数。 以MySQL为例说明,假设数据API有数据源1和数据源2,user01是数据源1的数据表和user02是数据源2的数据表,两张表的结构如下: 表1 表结构 数据源 表名 参数 数据源1 user01 id(int)
c,元素d的解析路径需设置为a.b.d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b.c,元素d的解析路径需设置为b.d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为c,元素d的解析路径需设置为d。
HBase和MongoDB的Mapping映射手动输入时,是否区分大小写? Mapping映射时会区分大小写,源端字段、目标端字段都必须和所选择的字段大小写一致。若不一致,MRS Hive和MRS HBase将会运行异常,MongoDB数据库不受影响,运行正常。 父主题: 数据集成普通任务
选择实例,用于后续验证连通性。 连接与安全 选择数据库的连接模式。当前支持“默认”模式,由系统根据用户配置自动拼接数据源连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填
7,您可以在ROMA Connect实例控制台的“实例信息”页面,在“MQS基本信息”下查看Kafka版本信息。Python开源客户端的版本使用请参见客户端版本使用建议。 执行以下命令,安装对应版本的Python Kafka客户端: pip install kafka-python==2