检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Open/Close Resource 功能 通过Open/Close Resource节点按需开启或关闭华为云服务。 参数 用户可参考表1和表2配置Open/Close Resource节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英
DMS Kafka连接 介绍 通过DMS Kafka连接，可以连接DMS Kafka普通队列或者专享版Kafka。目前仅支持从DMS Kafka导出数据到云搜索服务。 连接样例 { "links": [ { "link-config-values": {
文件大小相同。 REPLACE：替换重复文件。 SKIP：跳过重复文件。 ABANDON：停止任务。 对于Parquet、ORC的结构化集成场景，判断条件为自定义文件名前缀匹配。 REPLACE：写入前清理自定义文件名前缀匹配的所有文件。例如“自定义文件名”：“abc”，将清理所有abc开头的文件。
安全组规则端口配置。 测试网络连接。 在DataArts Studio工作空间下创建数据连接，并创建实时集成作业，选择对应数据连接和资源组进行连通性测试，详情请参考创建实时集成作业。 父主题： 数据库部署在其他云
MD5校验文件一致性 CDM数据迁移以抽取-写入模式进行，CDM首先从源端抽取数据，然后将数据写入到目的端。在迁移文件到OBS时，迁移模式如图1所示。 图1 迁移文件到OBS 在这个过程中，CDM支持使用MD5检验文件一致性。 抽取时 该功能支持源端为OBS、HDFS、FTP、S
文件增量迁移 CDM支持对文件类数据源进行增量迁移，全量迁移完成之后，第二次运行作业时可以导出全部新增的文件，或者只导出特定的目录/文件。 目前CDM支持以下文件增量迁移方式： 增量导出指定目录的文件 适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这种增量
50，推荐值20。 单线程flush的FileGroup的数量 > 50，推荐值30。 flush的并发数越大，flush时内存会响应升高，请结合实时处理集成作业内存监控适当调整该值。 hoodie.context.flatmap.parallelism int 1 Hudi在commit时，会
Hudi MRS Hudi所使用端口较为复杂，具体请参考《MRS集群服务常用端口列表》。 图1 MRS Hudi安全组规则示例 父主题： 数据集成（实时作业）
作业完成后，查询DWS表中的数据是否和HBase中的数据匹配。如果不匹配，请检查JSON文件中HBase和DWS字段的顺序是否一致。 父主题： 数据集成（CDM作业）
配置Hive目的端参数 支持快速导入数据到MRS的Hive。 表1 Hive作为目的端时的作业参数 类别 参数名 说明 取值样例 基本参数 数据库 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择写入数据的目标表名。单击输入框后面的按钮可进入表的选择界面。
MRS HDFS多副本策略会占用网络带宽，影响迁移速率。 华为云CDM创建连接 创建2个CDM集群： DataArts Studio实例中已经包含一个CDM集群（试用版除外），如果该集群已经满足需求，您无需再购买数据集成增量包，可以跳过这部分内容。 如果您需要再创建新的CDM集群
安全组规则端口配置。 测试网络连接。 在DataArts Studio工作空间下创建数据连接，并创建实时集成作业，选择对应数据连接和资源组进行连通性测试，详情请参考创建实时集成作业。 父主题： 数据库部署在本地IDC
配置HTTP源端参数 作业中源连接为HTTP连接时，源端作业参数如表1所示。当前只支持从HTTP URL导出数据，不支持导入。 表1 HTTP/HTTPS作为源端时的作业参数 参数名 说明 取值样例 文件URL 通过使用GET方法，从HTTP/HTTPS协议的URL中获取数据。 用于读取一个公网HTTP/HTTPS
配置PostgreSQL目的端参数 OpenGauss数据源与PostgreSQL一致，可参考本章节配置。 表1 PostgreSQL作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。
FTP/SFTP连接 介绍 通过FTP或SFTP连接，可以对FTP或SFTP服务器抽取或加载文件，支持CSV、二进制和JSON格式。 连接样例 { "links": [ { "link-config-values": {
Redis连接 介绍 通过Redis连接，可以对Redis服务器抽取或加载数据。 连接样例 { "links": [ { "link-config-values": { "configs": [
打开高级属性，在“连接属性”中建议新增“connectTimeout”与“socketTimeout”参数及参数值，单击“保存”。 图4 编辑高级属性 父主题： 数据集成（CDM作业）
群最大抽取并发数上限。 目的端为DLI数据源时，抽取并发数建议配置为1，否则可能会导致写入失败。 图2 作业抽取并发数配置 父主题： 数据集成（CDM作业）
HBase的版本号小于或等于MRS HBase的版本号。 待迁移的表在迁移过程中不能有写入，Split，Merge等操作。 使用华为云专线搭建CDH集群与华为云VPC之间的专属连接通道。 迁移流程 预估迁移数据量、迁移时间。 输出详细待迁移数据表、文件个数、大小，用于后续校验。 分批配置迁移任务，保证迁移进度与速度。
MongoDB连接 介绍 通过MongoDB连接，可以对MongoDB服务器抽取、加载数据。 连接样例 { "links": [ { "link-config-values": { "configs":
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
