检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
元数据实时同步接口(邀测) 功能介绍 元数据实时同步接口，支持批量。该接口功能处于邀测阶段，后续将随功能公测将逐步开放。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/metadata/async-bulk 表1 路径参数 参数 是否必选 参数类型
Kafka到DLI实时同步中，作业运行失败，报“Array element access needs an index starting at 1 but was 0”怎么办？ 问题描述 Kafka到DLI实时同步中，作业运行失败，报“Array element access needs
置如表5所示的参数。 表5 作业参数预览 功能 说明 当前时间 仅单次调度才显示。系统默认为当前时间。 事件触发时间 仅事件驱动调度才显示。系统默认为事件触发时间。 周期调度 仅周期调度才显示。系统默认为调度周期。 具体时间 仅周期调度才显示。周期调度配置的具体运行时间。 起始日期
支持的数据源 实时集成作业支持的数据源如表1所示。 表1 实时集成作业支持的数据源 数据源分类 源端数据源 对应的目的端数据源 相关文档 关系型数据 MySQL Hadoop：MRS Hudi MySQL同步到MRS Hudi作业配置 消息系统：DMS Kafka MySQL同步到Kafka作业配置
置如表5所示的参数。 表5 作业参数预览 功能 说明 当前时间 仅单次调度才显示。系统默认为当前时间。 事件触发时间 仅事件驱动调度才显示。系统默认为事件触发时间。 周期调度 仅周期调度才显示。系统默认为调度周期。 具体时间 仅周期调度才显示。周期调度配置的具体运行时间。 起始日期
网络打通 在配置实时同步任务前，您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。 数据库部署在本地IDC 数据库部署在其他云 数据库部署在华为云 父主题： 数据集成（实时作业）
使用教程 概览 DRS任务切换到实时Migration作业配置 MySQL同步到MRS Hudi作业配置 MySQL同步到DWS作业配置 MySQL同步到Kafka作业配置 DMS Kafka同步到OBS作业配置 Apache Kafka同步到MRS Kafka作业配置 SQLServer同步到MRS
实时处理作业：处理实时的连续数据，主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的业务关系，每个节点可单独被配置调度策略，而且节点启动的任务可以永不下线。在实时作业里，带箭头的连线仅代表业务上的关系，而非任务执行流程，更不是数据流。 实时处理作业可以配置节点级别的调度任务，即每
Compaction的Spark周期任务？ DWS MySQL到DWS实时同步中，同步新增列的DDL时报错怎么办？ MySQL到DWS实时同步中，DWS为什么需要对主键null值进行过滤？ Kafka Kafka到DLI实时同步中，作业运行失败，报“Array element access
当您在使用Migration服务创建实时同步任务前，需要预先检查是否做好了准备工作，以满足实时同步任务的环境要求。 表1 自检项 自检项 说明 需要执行的准备工作 为云账号及权限准备 准备华为账号，创建用户并授权使用Migration。 参考注册华为账号并开通华为云。 参考授权使用实时数据集成。 实时计算资源组准备
Hudi参数调优 PostgreSQL到DWS参数调优 Oracle到DWS参数调优 Oracle到MRS Hudi参数调优 父主题： 数据集成（实时作业）
作业任务参数调优 概述 实时数据集成服务底层使用Flink流处理框架进行开发，因此包含了Flink系统中最重要的两个部分：JobManager和TaskManager。 作业任务配置中调整的处理器核数、并发数、执行内存参数等便是用来调整JobManager和TaskManager
查询实时作业运行状态 功能介绍 查询指定实时作业的运行状态。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/jobs/{job_name}/status 参数说明 表1 URI参数说明 参数名
实时集成资源组关联工作空间 进行实时数据集成任务配置前，您需要将数据集成资源组与将要使用的DataArts Studio工作空间进行关联，以确保在配置实时集成作业时可以选到指定的计算资源组。 前提条件 已购买资源组，详情请参见购买数据集成资源组。 操作步骤 参考访问DataArts
字段类型映射关系 MySQL与MRS Hudi字段类型映射 PostgreSQL与DWS字段类型映射 父主题： 数据集成（实时作业）
Migration写入数据到Hudi时为了保证稳定性需要将Compaction任务单独拆成Spark作业并交给MRS执行，那么如何进行配置？ 解决方案 修改Migration实时集成作业配置。 Migration任务中必须关闭异步compaction动作，同时将clean和archive关闭。具体来说，可以在“Hu
性能调优概述 实时处理集成作业各链路如果出现时延持续增长、反压持续处于高位或同步速率过慢（查看作业监控指标速率不符合实时集成作业提供的性能规格）等情况，需要考虑以下几点： 目的端写入过慢。 源端抽取过慢。 其他问题（请联系技术支持人员协助解决）。 因为目的端写入过慢会影响至源端，
义为Replication表。 HASH：采用这种分布方式，需要为用户表指定一个分布列（distribute key）。当插入一条记录时，系统会根据分布列的值进行hash运算后，将数据存储在对应的DN中。对于Hash分布表，在读/写数据时可以利用各个节点的IO资源，大大提升表的读
开发作业前，您可以通过图1了解数据开发模块作业开发的基本流程。 图1 作业开发流程 新建作业：当前提供两种作业类型：批处理和实时处理，分别应用于批量数据处理和实时连接性数据处理，其中批处理作业还支持Pipeline和单节点作业两种模式，具体请参见新建作业。 开发作业：基于新建的作业，
logminer只能运行在CDB库中。 操作步骤 本小节以Oracle到MRS Hudi的实时同步为示例，介绍如何配置Migration实时集成作业。配置作业前请务必阅读使用前自检概览， 确认已做好所有准备工作。 参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。 选择数据连接类型：源端选Oracle，目的端选Hudi。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
