检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? 如果是采集同一个文件,每次在OBS上更新文件,目标端数据库有主键情况下,每次会根据主键更新数据。 如果是采集多个文件,目标端数据库有主键且主键相同的情况下,每次都会更新成时间最早的文件里的值,即数据内容没有变化
选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 上传文件 单击“上传文件”,上传本地文件配置文件。 支持文件类型为:.yaml,.json, 文件个数最大值为:20, 单个文件大小的最大值为:20MB, 完成数据源接入配置后,单击“测试连接”,检测ABM与数据源之间是否能够连通。
获取数据源配置文件 MRS Hive MRS HDFS MRS HBase MRS Kafka 父主题: 附录
创建负载通道(可选) 概述 ROMA Connect通过创建负载通道,可访问指定服务器中已部署的后端服务,并实现后端服务访问的负载均衡功能。ROMA Connect的负载通道可直接访问同一VPC内的弹性云服务器(ECS),也可以通过IP访问其他VPC内的ECS和私有服务器。 例如,VPC中包含6台ECS,ROMA
monitoring.elasticsearch.hosts: ["http://localhost:9200"] 编辑elasticsearch.yml文件,在文件中增加如下配置。 cluster.name: "elasticsearch" network.host: "127.0.0.1" http
Hive数据源时,上传的配置文件中全部用的EIP,Hosts里面也配置好IP与Hostname,但是在上传文件时HDFS的Master节点返回的node节点的IP为内网IP,所以连接不通,导致FDI任务执行异常。 解决方案 修改在创建MRS Hive数据源时上传的hdfs-site.xml文件中,在hdfs-site
OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? 任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致,需修改任务配置,按照文件中列的顺序填写元数据。 父主题: 数据集成普通任务
创建负载通道(可选) ROMA Connect通过创建负载通道,可访问指定服务器中已部署的后端服务,并实现后端服务访问的负载均衡功能。ROMA Connect的负载通道可直接访问同一VPC内的弹性云服务器(ECS),也可以通过IP访问其他VPC内的ECS和私有服务器。 例如,VPC中包含6台ECS,ROMA
包成zip文件,所有文件位于zip文件的根目录下。 文件名只能由英文字母或数字组成,长度不超过255个字符。 文件大小不超过2MB。 父主题: 获取数据源配置文件
xml”、“hdfs-site.xml”文件。 生成MRS HDFS配置文件。 将上述获取到的文件放到一个新的目录下,并打包成zip文件,所有文件位于zip文件的根目录下。 文件名只能由英文字母或数字组成,长度不超过255个字符。 文件大小不超过2MB。 父主题: 获取数据源配置文件
Connect支持通过文件的方式导入导出自定义后端。 导入自定义后端:支持导入YAML和JSON格式API定义文件,且文件内容应满足Swagger 2.0规范。 导出自定义后端:支持导出YAML和JSON格式API定义文件。 前提条件 导入自定义后端前,您需要在导入的API定义文件中补全自定义后端的Swagger扩展定义。
Connect支持通过文件的方式导入导出自定义后端。 导入自定义后端:支持导入YAML和JSON格式API定义文件,且文件内容应满足Swagger 2.0规范。 导出自定义后端:支持导出YAML和JSON格式API定义文件。 前提条件 导入自定义后端前,您需要在导入的API定义文件中补全自定义后端的Swagger扩展定义。
Kafka业务迁移 概述 Kafka业务迁移指将连接其他Kafka的生产与消费消息的客户端切换成连接ROMA Connect,部分还涉及将持久化的消息文件迁移到ROMA Connect上。 在业务迁移过程中,连续性要求高的业务,需要平滑迁移,不能有长时间的中断。 迁移准备 确保消息生产与消费客户端与ROMA
xml”、“hdfs-site.xml”文件。 生成MRS HBase配置文件。 将上述获取到的文件放到一个新的目录下,并打包成zip文件,所有文件位于zip文件的根目录下。 文件名只能由英文字母或数字组成,长度不超过255个字符。 文件大小不超过2MB。 父主题: 获取数据源配置文件
HIVE如何配置? 首先需要将MRS的IP全部绑定EIP,然后在MRS配置文件中的私网IP全部替换成EIP,再到hdfs-site.xml文件中添加一个配置项“dfs.client.use.datanode.hostname”,值设为“true”。 父主题: 数据集成普通任务
Hive的配置文件中使用的私网IP,私网IP与FDI数据面IP不通导致连接失败。 HDFS URL填写了根目录hdfs:///hacluster,机机交互用户名填写的用户不具备管理员权限导致连接失败。 解决方案 将MRS Hive的服务端机器绑定EIP,在配置文件中将IP换成EIP,在hdfs-site
xml”、“hdfs-site.xml”文件。 生成MRS Hive配置文件。 将上述获取到的文件放到一个新的目录下,并打包成zip文件,所有文件位于zip文件的根目录下。 文件名只能由英文字母或数字组成,长度不超过255个字符。 文件大小不超过2MB。 父主题: 获取数据源配置文件
Connect支持把实例的应用和任务以资产文件形式导出,也可以把资产文件导入ROMA Connect,实现集成资产的快速恢复或迁移,资产文件的导入导出操作请参见导入导出资产。 资产恢复:从ROMA Connect实例导出集成资产进行数据备份,若后续因实例故障或数据丢失需要恢复资产数据,可将备份的资产文件再导入实例进行资产恢复。
勾选:使用导入文件中定义的扩展信息覆盖掉系统已有信息。 不勾选:使用系统已有扩展信息,不使用导入文件中的扩展信息。 导入参数 选择并检查导入文件。 单击“文件”,选择本地要导入的YAML或JSON格式API定义文件。 导入文件后,单击“检查”,可检查导入文件的内容格式是否符合规范要求。
勾选:使用导入文件中定义的扩展信息覆盖掉系统已有信息。 不勾选:使用系统已有扩展信息,不使用导入文件中的扩展信息。 导入参数 检查导入的文件内容。 单击“检查”,可检查导入文件的内容格式是否符合规范要求。 单击“格式化”,可对导入文件的内容进行格式化。 单击“下载”,可把导入的文件内容下载到本地。