检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
放行、FTP主机名无法解析、FTP用户名密码错误等原因。若排除上述原因后仍无法解决，请联系客服或技术支持人员协助解决。 Cdm.0700 无法连接SFTP服务器。原因：%s。 可能是由于网络不通、安全组或防火墙规则未放行、SFTP主机名无法解析、SFTP用户名密码错误等原因。若排
选择子网和弹性IP，如果没有弹性IP，需要先申请一个。 完成之后，就可以到CDM控制台，通过Internet迁移公网的数据上云了。例如：迁移本地数据中心FTP服务器上的文件到OBS、迁移第三方云上关系型数据库到云服务RDS。 父主题： 数据集成（CDM作业）
适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这种增量迁移方式，只追加写入文件，不会更新或删除已存在的记录。 关键配置：文件/路径过滤器+定时执行作业。 前提条件：源端目录或文件名带有时间字段。 增量导出指定时间以后的文件 适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。
适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这种增量迁移方式，只追加写入文件，不会更新或删除已存在的记录。 关键配置：文件/路径过滤器+定时执行作业。 前提条件：源端目录或文件名带有时间字段。 增量导出指定时间以后的文件 适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。
”，则配置如下： “起始保留长度”为“3”。 “结尾保留长度”为“4”。 “替换字符”为“*”。 去前后空格 自动去字符串前后的空值，不需要配置参数。 字符串反转 自动反转字符串，例如将“ABC”转换为“CBA”，不需要配置参数。 字符串替换 替换字符串，需要用户配置被替换的对象，以及替换后的值。
”，则配置如下： “起始保留长度”为“3”。 “结尾保留长度”为“4”。 “替换字符”为“*”。 去前后空格 自动去字符串前后的空值，不需要配置参数。 字符串反转 自动反转字符串，例如将“ABC”转换为“CBA”，不需要配置参数。 字符串替换 替换字符串，需要用户配置被替换的对象，以及替换后的值。
参数名称 说明 名称 系统已根据原子指标、统计维度、时间限定等参数自动生成，您也可以自定义。 编码 系统已根据原子指标、统计维度、时间限定等参数编码自动生成，您也可以自定义。 数据类型 系统已根据原子指标的数据类型自动生成，您也可以自定义。 告警条件 告警条件表达式由告警参数和逻辑
消费者每次poll时返回的最大消息条数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 目的端优化 OBS写入优化 若开启了自动合并可尝试关闭，否则请优先增加并发解决。 父主题： 任务性能调优
件格式，适用于文件到文件的迁移。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，此处的“文件格式”只能选择与源端的文件格式一致。 CSV格式 重复文件处理方式 当源端为文件类数据源（HTTP/FTP/SFTP/HDFS/OBS）时配置。 只有文件名和文
模式如图1所示。 图1 迁移文件到OBS 在这个过程中，CDM支持使用MD5检验文件一致性。 抽取时 该功能支持源端为OBS、HDFS、FTP、SFTP、HTTP。可校验CDM抽取的文件，是否与源文件一致。 该功能由源端作业参数“MD5文件名后缀”控制（“文件格式”为“二进制格式
模式如图1所示。 图1 迁移文件到OBS 在这个过程中，CDM支持使用MD5检验文件一致性。 抽取时 该功能支持源端为OBS、HDFS、FTP、SFTP、HTTP。可校验CDM抽取的文件，是否与源文件一致。 该功能由源端作业参数“MD5文件名后缀”控制（“文件格式”为“二进制格式
自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM
Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式，无需手动配置即可生成血缘关系，在不支持自动血缘解析的场景下，再手动配置血缘关系。 自动血缘解析，是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的，无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。
允许两个安全组之间的数据访问。 端口映射不仅可以用于迁移内网数据库的数据，还可以迁移例如SFTP服务器上的数据。 Linux机器也可以通过IPTABLE实现端口映射。 内网中的FTP通过端口映射到公网时，需要检查是否启用了PASV模式。这种情况下客户端和服务端建立连接的时候是走的
图数据自动化构建与分析场景介绍 图引擎服务（Graph Engine Service，简称GES）是针对以“关系”为基础的“图”结构数据，进行查询、分析的服务，并广泛应用于社交关系分析、营销推荐、舆情及社会化聆听、信息传播、防欺诈等具有丰富关系数据的场景。 在DataArts S
连接参数说明 关系数据库连接 OBS连接 HDFS连接 HBase连接 CloudTable连接 Hive连接 FTP/SFTP连接 MongoDB连接 Redis连接 Kafka连接 DIS连接 Elasticsearch/云搜索服务(CSS)连接 DLI连接 DMS Kafka连接
linkConfig.serverlist 是 String 服务器地址列表，格式如：“host1:port1;host2:port2”。 linkConfig.password 是 String 连接Redis服务器的密码。 linkConfig.dbIndex 是 String
环境准备 已开通弹性云服务器，并创建ECS，ECS主机名为“ecs-dgc”。 本示例主机选择“CentOS 8.0 64bit with ARM(40GB)”的公共镜像，并且使用ECS自带的Python环境，您可登录主机后使用python命令确认服务器的Python环境。
源端作业参数说明 源端为关系数据库 源端为对象存储 源端为HDFS 源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch/云搜索服务
是 String 服务器地址列表，格式如：“host1:port1;host2:port2”。 linkConfig.database 是 String MongoDB的数据库名称。 linkConfig.userName 是 String 连接MongoDB服务器的用户名。 linkConfig
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
