检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择对应的数据湖分层：业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 上传文件 单击“上传文件”，上传本地文件配置文件。 支持文件类型为：.yaml,.json, 文件个数最大值为：20, 单个文件大小的最大值为：20MB, 完成数据源接入配置后，单击“测试连接”，检测ABM与数据源之间是否能够连通。
获取数据源配置文件 MRS Hive MRS HDFS MRS HBase MRS Kafka 父主题： 附录
从OBS解析文件到RDS数据库，采集过一次后，后面采集会进行更新吗？ 如果是采集同一个文件，每次在OBS上更新文件，目标端数据库有主键情况下，每次会根据主键更新数据。 如果是采集多个文件，目标端数据库有主键且主键相同的情况下，每次都会更新成时间最早的文件里的值，即数据内容没有变化
OBS源端的CSV文件解析到关系型数据库时，列的值不对怎么办？ 任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致，需修改任务配置，按照文件中列的顺序填写元数据。 父主题： 数据集成普通任务
Connect可以将这些数据以文本文件的形式存储在OBS中。 约束与限制 如果需要配置“异常数据存储”，请展开“异常数据存储”模块参照表1进行配置，如果不需要配置，请将“异常数据存储”模块折叠，否则影响任务保存。 配置异常数据存储 在配置异常数据存储前，您需要提前完成OBS数据源的接入配置，具体请参见接入OBS数据源。
xml”、“hdfs-site.xml”文件。 生成MRS HDFS配置文件。 将上述获取到的文件放到一个新的目录下，并打包成zip文件，所有文件位于zip文件的根目录下。 文件名只能由英文字母或数字组成，长度不超过255个字符。 文件大小不超过2MB。 父主题： 获取数据源配置文件
存储过程调用 当前数据API不支持直接创建存储过程，但是可以执行MySQL、Oracle、PostgreSQL这三种数据源的存储过程，以Oracle数据库为例说明。 数据源说明 假设数据库里面有一张表，表结构如下建表语句所示： create table sp_test(id number
包成zip文件，所有文件位于zip文件的根目录下。 文件名只能由英文字母或数字组成，长度不超过255个字符。 文件大小不超过2MB。 父主题： 获取数据源配置文件
MQS消息堆积最佳实践 方案概述 Kafka将Topic划分为多个分区，消息被分布式存储在分区中。同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分
xml”、“hdfs-site.xml”文件。 生成MRS HBase配置文件。 将上述获取到的文件放到一个新的目录下，并打包成zip文件，所有文件位于zip文件的根目录下。 文件名只能由英文字母或数字组成，长度不超过255个字符。 文件大小不超过2MB。 父主题： 获取数据源配置文件
据的传输。 GaussDB是华为自主创新研发的分布式关系型数据库。该产品具备企业级复杂事务混合负载能力，同时支持分布式事务，同城跨AZ部署，数据0丢失，支持1000+的扩展能力，PB级海量存储。同时拥有云上高可用，高可靠，高安全，弹性伸缩，一键部署，快速备份恢复，监控告警等关键能
xml”、“hdfs-site.xml”文件。 生成MRS Hive配置文件。 将上述获取到的文件放到一个新的目录下，并打包成zip文件，所有文件位于zip文件的根目录下。 文件名只能由英文字母或数字组成，长度不超过255个字符。 文件大小不超过2MB。 父主题： 获取数据源配置文件
e和Kafka作为数据集成任务的源端和目标端。 对象存储服务 对象存储服务（Object Storage Service，简称OBS）是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力，可供用户存储任意类型和大小的数据。 ROMA Connect可以
否 密钥算法套件 仅当“是否开启SSL认证”选择“是”时需要配置。 填写密钥算法套件。 公钥库文件 仅当“是否开启SSL认证”选择“是”时需要配置。 填写经过base64编码的公钥库文件内容。 公钥库密码 仅当“是否开启SSL认证”选择“是”时需要配置。 填写公钥库密码。 描述
否 密钥算法套件 仅当“是否开启SSL认证”选择“是”时需要配置。 填写密钥算法套件。 公钥库文件 仅当“是否开启SSL认证”选择“是”时需要配置。 填写经过base64编码的公钥库文件内容。 公钥库密码 仅当“是否开启SSL认证”选择“是”时需要配置。 填写公钥库密码。 描述
Kafka将消息主题（Topic）划分为多个分区（Partition），消息被分布式存储在不同分区中，实现Kafka的水平扩展与高可用。 副本 为了提高消息的可靠性，Kafka的每个分区会有多个副本，对消息进行冗余备份。分区在每个副本存储一份全量数据，副本之间的消息数据保持同步。分区挑选一个副本作
Kafka Kafka是一个分布式流处理平台，最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理服务器。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是
Kafka Kafka是一个分布式流处理平台，最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理服务器。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是
RabbitMQ RabbitMQ是一个开源的消息队列系统，它实现了高效的消息传递机制，可以在分布式系统中进行消息的异步传递和处理。RabbitMQ基于AMQP（Advanced Message Queuing Protocol）协议，支持多种编程语言，包括Java、Python、Ruby、
找到原来已下载的AK/SK文件，文件名一般为：credentials.csv。 Secret Access Key 当前账号的SK（Secret Access Key）。请参考访问密钥获取SK，如果已生成过AK/SK，找到原来已下载的AK/SK文件，文件名一般为credentials
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
