-
迁移时已选择表不存在时自动创表,提示“CDM not support auto create empty table with no column”怎么处理? - 云数据迁移 CDM
迁移时已选择表不存在时自动创表,提示“CDM not support auto create empty table with no column”怎么处理? 这是由于数据库表名中含有特殊字符导致识别出语法错误,按数据库对象命名规则重新命名后恢复正常。 例如,DWS数据仓库中的数
-
MD5校验文件一致性 - 云数据迁移 CDM
端抽取数据,然后将数据写入到目的端。在迁移文件到OBS时,迁移模式如图1所示。 图1 迁移文件到OBS 在这个过程中,CDM支持使用MD5检验文件一致性。 抽取时 该功能支持源端为OBS、HDFS、FTP、SFTP、HTTP。可校验CDM抽取的文件,是否与源文件一致。 该功能由源
-
MD5校验文件一致性 - 云数据迁移 CDM
端抽取数据,然后将数据写入到目的端。在迁移文件到OBS时,迁移模式如图1所示。 图1 迁移文件到OBS 在这个过程中,CDM支持使用MD5检验文件一致性。 抽取时 该功能支持源端为OBS、HDFS、FTP、SFTP、HTTP。可校验CDM抽取的文件,是否与源文件一致。 该功能由源
-
创建数据连接时报错“配置项[linkConfig.createBackendLinks]不存在”或创建作业时报错“配置项 [throttlingConfig.concurrentSubJobs] 不存在”怎么办? - 云数据迁移 CDM
创建数据连接时报错“配置项[linkConfig.createBackendLinks]不存在”或创建作业时报错“配置项 [throttlingConfig.concurrentSubJobs] 不存在”怎么办? 当同时存在多个不同版本的集群,先在低版本CDM集群创建数据连接或保
-
关系数据库连接 - 云数据迁移 CDM
通过JDBC连接,可以对以下关系型数据库抽取、加载数据: 云数据库 PostgreSQL 云数据库 SQL Server PostgreSQL Microsoft SQL Server 连接样例 { "links": [ { "link-config-values":
-
Hudi表自动建表报错:schema不匹配,建表失败怎么办? - 云数据迁移 CDM
hema不匹配错误“org.apache.spark.sql.AnalysisException:Specified schema in create table statement is not equal to the table schema”。 原因分析 从metasto
-
配置PostgreSQL/SQL Server源端参数 - 云数据迁移 CDM
配置PostgreSQL/SQL Server源端参数 作业中源连接为从云数据库 PostgreSQL、云数据库 SQL Server、PostgreSQL、Microsoft SQL Server导出的数据时,源端作业参数如表1所示。 表1 PostgreSQL/SQL Server作为源端时的作业参数
-
指定文件名迁移 - 云数据迁移 CDM
指定文件名迁移 从FTP/SFTP/OBS导出文件时,CDM支持指定文件名迁移,用户可以单次迁移多个指定的文件(最多50个),导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时,如果源端数据源为FTP/SFTP/OBS,CDM源端的作业参数“源目录或文件”支持输
-
指定文件名迁移 - 云数据迁移 CDM
指定文件名迁移 从FTP/SFTP/OBS导出文件时,CDM支持指定文件名迁移,用户可以单次迁移多个指定的文件(最多50个),导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时,如果源端数据源为FTP/SFTP/OBS,CDM源端的作业参数“源目录或文件”支持输
-
新建表/文件迁移作业 - 云数据迁移 CDM
率,而非网卡流量。 说明: 支持对非二进制文件迁移的作业进行单并发限速。 如果作业配置多并发则实际限制速率需要乘以并发数。 文件到文件的二进制传输不支持限速功能。 是 单并发速率上限(Mb/s) 开启限速情况下设置的单并发速率上限值,如果配置多并发则实际速率限制需要乘以并发数。 说明:
-
资产识别与管理 - 云数据迁移 CDM
的目的。当为集群添加标签时,该集群上所有请求产生的计费话单里都会带上这些标签,从而可以针对话单报表做分类筛选,进行更详细的成本分析。例如:某个集群作用于A部门,我们可以用该部门名称作为标签,设置到被使用的集群上。在分析话单时,就可以通过该部门名称的标签来分析此部门的开发使用成本。
-
认证鉴权 - 云数据迁移 CDM
单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全,访问密
-
MySQL整库迁移到RDS服务 - 云数据迁移 CDM
MySQL数据库迁移到云服务RDS中。 当前CDM支持将本地MySQL数据库,整库迁移到RDS上的MySQL、PostgreSQL或者Microsoft SQL Server任意一种数据库中。这里以整库迁移到RDS上的MySQL数据库(云数据库 MySQL)为例进行介绍,使用流程如下:
-
MySQL整库迁移到RDS服务 - 云数据迁移 CDM
MySQL数据库迁移到云服务RDS中。 当前CDM支持将本地MySQL数据库,整库迁移到RDS上的MySQL、PostgreSQL或者Microsoft SQL Server任意一种数据库中。这里以整库迁移到RDS上的MySQL数据库(云数据库 MySQL)为例进行介绍,使用流程如下:
-
创建MySQL连接器 - 云数据迁移 CDM
useCompression=true 引用符号 连接引用表名或列名时的分隔符号。默认为空。 ' 单次写入行数 指定单次批量写入的行数,当写入行数累计到单次批量提交行数时提交一次,该值应当小于单次提交行数。 100 单击“保存”回到连接管理界面,完成MySQL连接器的配置。 如果保存时
-
创建MySQL连接器 - 云数据迁移 CDM
useCompression=true 引用符号 连接引用表名或列名时的分隔符号。默认为空。 ' 单次写入行数 指定单次批量写入的行数,当写入行数累计到单次批量提交行数时提交一次,该值应当小于单次提交行数。 100 单击“保存”回到连接管理界面,完成MySQL连接器的配置。 如果保存时
-
配置云数据库MySQL/MySQL数据库连接 - 云数据迁移 CDM
引用符号 可选参数,连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。 ` 单次写入行数 指定单次批量写入的行数,当写入行数累计到单次批量提交行数时提交一次,该值应当小于单次提交行数。 100 父主题: 管理连接
-
配置Hive源端参数 - 云数据迁移 CDM
比如 "--" ,“/*”。 不支持增删改操作,包括但不限于以下操作: load data delete from alter table create table drop table into outfile select id,name from sqoop.user; 高级属性
-
配置Hive目的端参数 - 云数据迁移 CDM
则数据会追加到已有的表中。 是 待清空分区 “导入前清空数据”设置为“是”时,呈现此参数。 填写待清空分区信息后,表示清空该分区的数据。 单分区:year=2020,location=sun; 多分区:['year=2020,location=sun', 'year=2021,location=earth']
-
分析数据 - 云数据迁移 CDM
通过DLI分析数据 进入数据湖探索DLI控制台,参考DLI用户指南中的创建数据库创建数据库。 参考创建OBS表创建OBS外表,包括贸易统计数据库、贸易详单信息表和基础信息表。 基于业务需求,在DLI控制台中开发相应的SQL脚本进行贸易统计分析。 父主题: 案例:贸易数据统计与分析