检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
已完成数据连接的创建，且创建的连接必须已勾选数据集成选项，详情请参见创建DataArts Studio数据连接 。 存在正在运行的CDM集群，详情请参见创建CDM集群。 DataArts Studio实例中已经包含一个CDM集群（试用版除外），如果该集群已经满足需求，您无需再购买数据集成增量包，可以跳过这
配置Hive源端参数 作业中源连接为Hive连接时，源端作业参数如表1所示。 表1 Hive作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择Hive表名
连接管理 创建连接 查询连接 删除连接 修改连接 父主题： 数据集成API
OBS数据迁移到云搜索服务 OBS数据迁移到DLI服务 MRS HDFS数据迁移到OBS Elasticsearch整库迁移到云搜索服务 父主题： 数据集成（CDM作业）
Content-Type 是 String 消息体的类型（格式），有Body体的情况下必选，没有Body体无需填写。如果请求消息体中含有中文字符，则需要通过charset=utf8指定中文字符集，例如取值为：application/json;charset=utf8。 X-Auth-Token 是 String
约束与限制 CDM系统级限制和约束 DataArts Studio实例赠送的数据集成集群，由于规格限制，仅用于测试业务、数据连接代理场景。 用于运行数据迁移作业的其他规格CDM集群可以在DataArts Studio控制台以增量包的形式购买，也可以在云数据迁移CDM服务控制台直接购买。二者差异体现在如下方面：
指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导 自动建表原理介绍 父主题： 数据集成（CDM作业）
CDM从OBS迁移数据到DLI出现迁移中断失败。 解决方案 此类作业问题表现为配置了脏数据写入，但并无脏数据。这种情况下需要调低并发任务数，即可避免此类问题。 父主题： 数据集成（CDM作业）
DAY)} and ${timestamp()}，这样就可以在每天的凌晨0点导出前一天产生的所有数据。 其它的配置方式原理相同。 父主题： 数据集成（CDM作业）
支持云数据库、本地IDC、ECS自建数据库等多种环境下的数据同步。在配置同步任务前，您可以根据数据库所在网络环境，选择合适的同步解决方案来确保数据集成资源组与您将同步的数据来源端与目标端网络环境已经连通，对应数据库环境与网络连通配置详情请参见：网络打通。 多类场景下的数据同步 支持单表、整库及分库分表实时增量数据同步。
登录FusionInsight Manager。 选择“集群 > > 待操作的集群名称 > 概览 > 更多 > 下载客户端”，界面显示“下载集群客户端”对话框。 对话框中选择“仅配置文件”，平台类型和服务端保持一致，其他保持默认即可，单击确认后进行本地下载。 获取下载的tar包，此即为FusionInsight集群配置文件。
术支持人员。 图1 离线处理集成作业迁移原理 操作视频 因不同版本操作界面可能存在差异，本视频仅供参考，具体以实际环境为准。 父主题： 数据集成（离线作业）
在弹出的“新建集成作业”页面，配置如表1所示的参数。 图3 配置集成作业参数 表1 作业参数 参数 说明 作业名称 自定义作业的名称，只能包含英文字母、数字、中文、“-”、“_”、“.”，且长度为1～128个字符。 作业类型 选择作业的类型，须选择离线处理。 离线处理：对已收集的大量数据进行批量处理
准备华为账号，创建用户并授权使用Migration。 参考注册华为账号并开通华为云。 参考授权使用实时数据集成。 实时计算资源组准备 购买实时集成任务使用的计算资源，并关联到要使用的DataArts Studio工作空间。 参考购买数据集成资源组增量包。 参考实时集成资源组关联工作空间。 数据库准备 连接源和目标数据库以及对应连接账号权限准备。
优化迁移性能 迁移作业原理 性能调优 参考：作业分片维度 参考：CDM性能实测数据 父主题： 数据集成（CDM作业）
参数或者变量，则后续在DataArts Studio数据开发模块调度此节点，可以间接实现CDM作业根据参数变量进行数据迁移。 父主题： 数据集成（CDM作业）
配置ElasticSearch源端参数 配置MongoDB源端参数 配置RestApi源端参数 配置GBase源端参数 配置Redis源端参数 配置LTS源端参数 父主题： 数据集成（离线作业）
Oracle数据源如何开通归档日志、查询权限和日志解析权限？ PostgreSQL PostgreSQL数据源如何手动删除复制槽？ 父主题： 数据集成（实时作业）
支持的数据源 数据集成离线同步支持单表同步至目标单表、分库分表同步至目标单表及整库同步至目标单表三种同步方式，不同的同步方式支持的数据源有所不同： 单表同步：适用于数据入湖和数据上云场景下，表或文件级别的数据同步，支持的数据源请参见表/文件同步支持的数据源类型。 分库分表同步：适
支持的数据源（2.10.0.300） 支持的数据源（2.9.3.300） 支持的数据源（2.9.2.200） 支持的数据类型 父主题： 数据集成（CDM作业）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
