检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新建表/文件迁移作业 操作场景 CDM可以实现在同构、异构数据源之间进行表或文件级别的数据迁移，支持表/文件迁移的数据源请参见支持的数据源。 约束限制 记录脏数据功能依赖于OBS服务。 作业导入时，JSON文件大小不超过1MB。 单文件传输大小不超过1TB。 配置源端和目的端参数时，字段名不可包含&和%。
入多个文件名（最多50个），文件名之间默认使用“|”分隔，您也可以自定义文件分隔符，从而实现文件列表迁移。 迁移文件或对象时支持文件级增量迁移（通过配置跳过重复文件实现），但不支持断点续传。 例如要迁移3个文件，第2个文件迁移到一半时由于网络原因失败，再次启动迁移任务时，会跳过第
FTP、HTTP。可校验CDM抽取的文件，是否与源文件一致。 该功能由源端作业参数“MD5文件名后缀”控制（“文件格式”为“二进制格式”时生效），配置为源端文件系统中的MD5文件名后缀。 当源端数据文件同一目录下有对应后缀的保存md5值的文件，例如build.sh和build.sh
导入包含API信息的EXCEL文件 功能介绍 导入包含API信息的EXCEL文件。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/import/excel 表1 路径参数 参数 是否必选 参数类型 描述 project_id
导出包含API信息的EXCEL文件 功能介绍 导出包含API信息的EXCEL文件。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/export/excel 表1 路径参数 参数 是否必选 参数类型 描述 project_id
表4 响应Body参数 参数 参数类型 描述 - File 导出包含API的EXCEL文件，会导出多个EXCEL文件，每个EXCEL文件最多200个API，多个EXCEL文件会打包到ZIP文件返回。 状态码： 400 表5 响应Body参数 参数 参数类型 描述 error_code
server 是 String FTP或SFTP服务器的地址。 linkConfig.port 是 String FTP或SFTP服务器端口号。 linkConfig.username 是 String 登录FTP或SFTP服务器的用户名。 linkConfig.password
使用CDM+OBS+DLI进行贸易统计分析的操作过程主要包括2个步骤： 使用CDM上传数据到OBS 通过CDM将H公司存量数据上传到对象存储服务OBS。 通过CDM作业的定时任务，每天自动上传增量数据到OBS。 使用DLI分析数据 通过DLI直接分析OBS中的业务数据，支撑H公司客户进行贸易统计分析。
BYTES_WRITTEN：表示写入的字节数。 BYTES_READ：表示读取的字节数。 TOTAL_FILES：表示总文件数。 FILES_WRITTEN：表示写入的文件数。 FILES_READ：表示读取的文件数。 ROWS_WRITTEN：表示写入成功的行数。 ROWS_READ：表示读取成功的行数。
Parquet格式：按Parquet格式写入，适用于数据表到文件的迁移。 ORC格式：按ORC格式写入，适用于数据表到文件的迁移。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，CDM会原样写入文件，不改变原始文件格式，适用于文件到文件的迁移。 如果是文件类数据源（FTP/SFTP/HDFS/
gent会访问ECS主机，如果Shell、Python脚本的调度频率很高，ECS主机会将Agent的内网IP加入黑名单。为了保障作业的正常调度，强烈建议您使用ECS主机的root用户将绑定Agent（即CDM集群）的内网IP加到/etc/hosts.allow文件里面。 CDM集
通过节点可以执行的操作： 移动文件：将源文件或目录，移动到新目录中。 复制文件：复制源文件或目录。 重命名文件：重命名文件仅支持最后一级目录或文件重命名。 如重命名目录时，源文件或目录：obs://test/a/b/c/，目的目录：obs://test/a/b/d/；重命名文件时，源文件或目录：obs://test/a/b/hello
resp_body.size = 0; curl_global_init(CURL_GLOBAL_ALL); curl = curl_easy_init(); curl_easy_setopt(curl, CURLOPT_CUSTOMREQUEST, params
管理样本库 数据安全支持将您提供的OBS或HDFS样本文件生成样本库。当新建随机脱敏或字符替换类型的脱敏算法时，可以选择将敏感数据脱敏为样本库文件中的值。 本章主要介绍如何创建样本。 前提条件 已在OBS或HDFS中上传样本文件。样本文件只支持txt格式，大小建议不超过10MB，其中数据可通过换行“\n”、空格“
resp_body.size = 0; curl_global_init(CURL_GLOBAL_ALL); curl = curl_easy_init(); curl_easy_setopt(curl, CURLOPT_CUSTOMREQUEST,
是否支持同步作业到其他集群？ 问题描述 CDM是否支持同步作业到其他集群？ 解决方案 CDM虽然不支持直接在不同集群间迁移作业，但是通过批量导出、批量导入作业的功能，可以间接实现集群间的作业迁移，方法如下： 将CDM集群1中的所有作业批量导出，将作业的JSON文件保存到本地。 由
环境准备 已开通弹性云服务器，并创建ECS，ECS主机名为“ecs-dgc”。 本示例主机选择“CentOS 8.0 64bit with ARM(40GB)”的公共镜像，并且使用ECS自带的Python环境，您可登录主机后使用python命令确认服务器的Python环境。
字符、“_”、“-”，且长度为1~32个字符。 类型 是 选择资源的文件类型： jar：用户jar文件。 pyFile：用户Python文件。 file：用户文件。 archive：用户AI模型文件。支持的文件后缀名为：zip、tgz、tar.gz、tar、jar。 资源位置 是
如何将云下内网或第三方云上的私网与CDM连通？ 很多企业会把关键数据源建设在内网，例如数据库、文件服务器等。由于CDM运行在云上，如果要通过CDM迁移内网数据到云上的话，可以通过以下几种方式连通内网和CDM的网络： 如果目标数据源为云下的数据库，则需要通过公网或者专线打通网络。通
源连接名称：选择创建MRS HDFS连接中的“hdfs_llink”。 源目录或文件：待迁移数据的目录或单个文件路径。 文件格式：传输数据时所用的文件格式，这里选择“二进制格式”。不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 其他可选参数一般情况下保持默认即可。 目的端作业配置
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
