-
场景介绍 - 云数据迁移 CDM
缺点:在数据大量传输过程中会占用专线带宽,对客户并行进行的业务存在影响,跨越多个交换机设备。 CDM通过DES(数据快递服务)迁移1个月前的历史数据,迁移路径如下: CDH → DES → CDM(华为云) → OBS → CDM(华为云) → MRS DES适用场景:数据量大,用户私有云与华为
-
查询连接 - 云数据迁移 CDM
tor:Elasticsearch/云搜索服务连接。dli-connector:DLI连接。 http-connector:HTTP/HTTPS连接,该连接暂无连接参数。dms-kafka-connector:DMSKafka连接 update-date Long 更新连接的时间
-
配置云搜索服务(CSS)连接 - 云数据迁移 CDM
admin 密码 CSS集群开启安全认证模式时显示此参数。该参数表示连接云搜索服务的密码。 - https访问 CSS集群开启安全认证模式时显示此参数。该参数表示开启https访问,https访问相较于http访问更安全。 是 父主题: 管理连接
-
配置数据仓库服务(DWS)连接 - 云数据迁移 CDM
模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 SSL加密 可选参数,支持通过SSL加密方式连接数据库,暂不支持自建的数据库。 是 说明: 启用SSL加密需确保DWS本身已启用SSL加密。 连接属性 可选参数,单击“添加”可增加多个指定数据源的JDBC连接
-
目的端为OBS - 云数据迁移 CDM
bucketName 是 String OBS的桶名,例如“cdm”。 toJobConfig.outputDirectory 是 String 数据写入路径,例如“data_dir”。 toJobConfig.outputFormat 是 枚举 写入数据时所用的文件格式(二进制除外),支持以下文件格式:
-
CDM未使用数据传输功能时,是否会计费? - 云数据迁移 CDM
CDM未使用数据传输功能时,是否会计费? CDM集群运行状态下,即便未使用也是正常计费的,如果长期不使用建议删除集群,需要的时候再创建集群。CDM集群计费详情请参考价格详情。 父主题: 通用类
-
启动集群 - 云数据迁移 CDM
e.printStackTrace(); System.out.println(e.getHttpStatusCode()); System.out.println(e.getRequestId());
-
删除集群 - 云数据迁移 CDM
e.printStackTrace(); System.out.println(e.getHttpStatusCode()); System.out.println(e.getRequestId());
-
删除作业 - 云数据迁移 CDM
e.printStackTrace(); System.out.println(e.getHttpStatusCode()); System.out.println(e.getRequestId());
-
配置MRS ClickHouse目的端参数 - 云数据迁移 CDM
单击输入框后面的按钮可选择模式或表空间。 schema 表名 输入或选择写入数据的目标表名。 单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts
-
删除连接 - 云数据迁移 CDM
e.printStackTrace(); System.out.println(e.getHttpStatusCode()); System.out.println(e.getRequestId());
-
OBS数据迁移到云搜索服务 - 云数据迁移 CDM
源连接名称:选择创建OBS连接中的“obslink”。 桶名:待迁移数据的桶。 源目录或文件:待迁移数据的路径,也可以迁移桶下的所有目录、文件。 文件格式:迁移文件到数据表时,文件格式选择“CSV格式”。 高级属性里的可选参数一般情况下保持默认即可。 目的端作业配置 目的连接名称:选择创建云搜索服务连接中的“csslink”。
-
OBS数据迁移到云搜索服务 - 云数据迁移 CDM
源连接名称:选择创建OBS连接中的“obslink”。 桶名:待迁移数据的桶。 源目录或文件:待迁移数据的路径,也可以迁移桶下的所有目录、文件。 文件格式:迁移文件到数据表时,文件格式选择“CSV格式”。 高级属性里的可选参数一般情况下保持默认即可。 目的端作业配置 目的连接名称:选择创建云搜索服务连接中的“csslink”。
-
DIS连接 - 云数据迁移 CDM
"name": "linkConfig.endpoint", "value": "https://dis.cn-north-1.myhuaweiclouds.com" },
-
配置OBS目的端参数 - 云数据迁移 CDM
写入数据的OBS桶名。 bucket_2 写入目录 写入数据到OBS服务器的目录,目录前面不加“/”。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts
-
时间宏变量使用解析 - 云数据迁移 CDM
1507996800000 ${timestamp(dateformat(yyyyMMddHH))} 返回当前整小时的时间戳。 1508115600000 路径和表名的时间宏变量 如图1所示,如果将: 源端的“表名”配置为“CDM_/${dateformat(yyyy-MM-dd)}”。 目的端的
-
时间宏变量使用解析 - 云数据迁移 CDM
1507996800000 ${timestamp(dateformat(yyyyMMddHH))} 返回当前整小时的时间戳。 1508115600000 路径和表名的时间宏变量 如图1所示,如果将: 源端的“表名”配置为“CDM_/${dateformat(yyyy-MM-dd)}”。 目的端的
-
OBS数据迁移到DLI服务 - 云数据迁移 CDM
如果是独立CDM服务,参考创建集群创建CDM集群;如果是作为DataArts Studio服务CDM组件使用,参考创建集群创建CDM集群。 该场景下,如果CDM集群只是用于迁移OBS数据到DLI,不需要迁移其他数据源,则CDM集群所在的VPC、子网、安全组选择任一个即可,没有要求,CDM
-
OBS数据迁移到DLI服务 - 云数据迁移 CDM
如果是独立CDM服务,参考创建集群创建CDM集群;如果是作为DataArts Studio服务CDM组件使用,参考创建集群创建CDM集群。 该场景下,如果CDM集群只是用于迁移OBS数据到DLI,不需要迁移其他数据源,则CDM集群所在的VPC、子网、安全组选择任一个即可,没有要求,CDM
-
配置HBase/CloudTable源端参数 - 云数据迁移 CDM
HBase/CloudTable作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 表名 导出数据的HBase表名。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts