检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置CDM作业目的端参数 配置OBS目的端参数 配置HDFS目的端参数 配置HBase/CloudTable目的端参数 配置Hive目的端参数 配置MySQL/SQL Server/PostgreSQL目的端参数 配置Oracle目的端参数 配置DWS目的端参数 配置DDS目的端参数
点,具体请参见《云数据迁移API参考》中的“启动作业”章节。配置RestAPI节点的属性如下 : 节点名称:运行作业。 URL地址:其中project_id、cluster_id和2. 配置“创建作业”节点中的保持一致,作业名需要配置为“dws2obs-${currentTime
附录 状态码 错误码
2:9200。 linkConfig.safemode 否 Boolean 当选择安全模式认证时,需要输入用户名、密码和选择是否https访问。 linkConfig.user 否 String 对于支持用户名密码鉴权的Elasticsearch,需要在创建连接时配置用户名和密码。
配置CDM作业源端参数 配置OBS源端参数 配置HDFS源端参数 配置HBase/CloudTable源端参数 配置Hive源端参数 配置DLI源端参数 配置FTP/SFTP源端参数 配置HTTP源端参数 配置PostgreSQL/SQL Server源端参数 配置DWS源端参数
行失败,且日志中出现类似“value too long for type character varying”的错误,则可以通过启用该功能解决。 说明: 当启动该功能时,也会导致部分字段消耗用户相应的3倍存储空间。 否 使用非空约束 当选择自动创建目的表时,如果选择使用非空约束,
故障恢复 CDM集群支持定时备份功能。 定时备份开启后可以将作业定时备份到OBS上,当服务故障后,可以通过作业导入功能恢复作业。 父主题: 安全
where条件,导入前根据where条件删除目的表的数据。 toJobConfig.orientation 否 枚举 存储方式,此参数只有当数据库类型为DWS时启用,当需要自动创建DWS数据库表,指定表的数据存储方式: ROW:表的数据以行式存储。 COLUMN:表的数据以列式存储。 toJobConfig.isCompress
文件中的换行符,默认自动识别"\\n"、"\\r"或"\\r\\n"。手动配置特殊字符,如空格回车需使用URL编码后的值。或通过编辑作业json方式配置,无需URL编码。 fromJobConfig.columnList 否 String 需要抽取的列号,列号之间使用“&”分割,并由小到大排序,例如:“1&3&5”。
配置连接参数 OBS连接参数说明 PostgreSQL/SQLServer连接参数说明 数据仓库服务(DWS)连接参数说明 云数据库MySQL/MySQL数据库连接参数说明 Oracle数据库连接参数说明 DLI连接参数说明 Hive连接参数说明 HBase连接参数说明 HDFS连接参数说明
使用前必读 概述 终端节点 项目ID和账号ID 基本概念
指定文件名迁移 从FTP/SFTP/OBS导出文件时,CDM支持指定文件名迁移,用户可以单次迁移多个指定的文件(最多50个),导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时,如果源端数据源为FTP/SFTP/OBS,CDM源端的作业参数“源目录或文件”支持输
写入时 该功能目前只支持目的端为OBS。可校验写入OBS的文件,是否与CDM抽取的文件一致。 该功能由目的端作业参数“校验MD5值”控制,读取文件后写入OBS时,通过HTTP Header将MD5值提供给OBS做写入校验,并将校验结果写入OBS桶(该桶可以不是存储迁移文件的桶)。如果源端没有MD5文件则不校验。
指定文件名迁移 从FTP/SFTP/OBS导出文件时,CDM支持指定文件名迁移,用户可以单次迁移多个指定的文件(最多50个),导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时,如果源端数据源为FTP/SFTP/OBS,CDM源端的作业参数“源目录或文件”支持输
写入时 该功能目前只支持目的端为OBS。可校验写入OBS的文件,是否与CDM抽取的文件一致。 该功能由目的端作业参数“校验MD5值”控制,读取文件后写入OBS时,通过HTTP Header将MD5值提供给OBS做写入校验,并将校验结果写入OBS桶(该桶可以不是存储迁移文件的桶)。如果源端没有MD5文件则不校验。
公共数据结构 连接参数说明 源端作业参数说明 目的端作业参数说明 作业任务参数说明
数据仓库,NoSQL,大数据云服务,对象存储等数据源。 您可以使用本文档提供的API对云数据迁移服务进行操作,如创建集群、创建迁移任务等,支持的全部操作请参见API概览。 在调用云数据迁移服务API之前,请确保已经充分了解云数据迁移服务相关概念,详细信息请参见产品介绍。 父主题:
周:每周一零点执行一次。 月:每月1号零点执行一次。 日 备份写入OBS连接 CDM通过该连接,将作业备份到OBS,需要用户提前在“连接管理”界面创建好OBS连接。 obslink OBS桶 存储备份文件的OBS桶。 cdm 备份数据目录 存储备份文件的目录。 /cdm-bk/ 恢复作业
云数据迁移安全结论 访问控制 只有华为云统一身份认证服务(Identity and Access Management,简称IAM)授权的用户才能访问CDM控制台和API。推拉模式下,CDM在VPC上没有开放侦听端口,用户无法从VPC访问实例,具有高度的安全性。 数据传输安全 C
如果字段映射关系不正确,您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。 创建表达式转换器时,表达式的功能是对该字段的数据进行处理,故不建议使用时间宏,如需使用,请根据以下场景处理(源端是文件类的配置时仅支持方式一): 方式一:新建表达式转换器时,表达式需要用''包围。 ${