检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DAY)}*”(这是CDM支持的日期宏变量格式,详见时间宏变量使用解析)。 图1 文件过滤 配置作业定时自动执行,“重复周期”为1天。 这样每天就可以把昨天生成的文件都导入到目的端目录,实现增量同步。 文件增量迁移场景下,“路径过滤器”的使用方法同“文件过滤器”一样,需要路径名称里带有时间字段,这样可以定期增量同步指定目录下的所有文件。
变量)。 是 使用Agent Agent功能待下线,无需配置。 - local_infile字符集 mysql通过local_infile导入数据时,可配置编码格式。 utf8 驱动版本 适配mysql的驱动。 - Agent Agent功能待下线,无需配置。 - 单次请求行数 指定每次请求获取的行数。
单击“增加”,添加端口映射关系。 单击“开始映射”,这时才会真正开始映射,接收数据包。 至此,就可以在CDM上通过弹性IP读取本地内网MySQL的数据,然后导入到云服务DWS中。 CDM要访问本地数据源,也必须给CDM集群配置EIP。 一般云服务DWS默认也是只允许VPC内部访问,创建CDM集群时
配置PostgreSQL/SQL Server源端参数 作业中源连接为从云数据库 PostgreSQL、云数据库 SQL Server、PostgreSQL、Microsoft SQL Server导出的数据时,源端作业参数如表1所示。 表1 PostgreSQL/SQL Server作为源端时的作业参数
变量)。 是 使用Agent Agent功能待下线,无需配置。 - local_infile字符集 MySQL通过local_infile导入数据时,可配置编码格式。 utf8 驱动版本 CDM连接关系数据库前,需要先上传所需关系数据库的JDK8版本.jar格式驱动。MySQL的
变量)。 是 使用Agent Agent功能待下线,无需配置。 - local_infile字符集 MySQL通过local_infile导入数据时,可配置编码格式。 utf8 驱动版本 CDM连接关系数据库前,需要先上传所需关系数据库的JDK8版本.jar格式驱动。MySQL的
maxErrorRecords 否 String 单个分片的最大错误记录数。单个map的错误记录超过设置的最大错误记录数时,任务自动结束,已经导入的数据不回退。 schedulerConfig.isSchedulerJob 否 Boolean 是否开启定时任务,例如:“true”。 schedulerConfig
例如将数据导入到哪个表或哪个目录,这些信息在目的端作业配置中指定。 字段映射 在创建作业的过程中,尤其是异构数据源之间的迁移作业,一般需要配置源端和目的端数据源之间的对应关系,例如字段对应、字段类型对应,这个过程在CDM中称为字段映射。 账号 当您首次登录云时注册的账号,该账号
如OBS桶名、文件路径等)、参数中的某个字段、或者字段中的某个字符,都支持配置为一个全局变量,方便您批量更改作业中的参数值,以及作业导出/导入后进行批量替换。 这里以批量替换作业中OBS桶名为例进行介绍。 在CDM作业管理界面,单击“配置管理”页签,配置环境变量。 bucket_1=A
项目ID表示租户的资源,账号ID对应当前账号,IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。
数据库服务、对象存储服务之间相互迁移数据。例如,可以将由MapReduce服务(MapReduce Service,简称MRS)处理的数据导入到数据仓库服务(Data Warehouse Service,简称DWS),进行交互式分析和报告统计收集。 云上数据回迁到本地:用户在使用
认证鉴权 调用接口有如下两种认证方式,您可以选择其中一种进行认证鉴权。 Token认证:通过Token认证通用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。 仅当创建IAM用户时的访问方式勾选“编程访问”后
Base/CloudTable/MongoDB导出数据时,CDM有较大概率无法获得所有列),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,
Base/CloudTable/MongoDB导出数据时,CDM有较大概率无法获得所有列),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,
Base/CloudTable/MongoDB导出数据时,CDM有较大概率无法获得所有列),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,
表%s不包含列族%s。 表中不包含列族。 请指定列族后再重试。 Cdm.1120 400 表中有数据,请清空表数据或重新设置导入前是否清空表数据配置项。 表中有数据,请清空表数据或重新设置导入前是否清空表数据配置项。 请按照错误提示进行处理。 Cdm.1121 400 关闭连接已失败。原因:%s。
创建集群 功能介绍 创建集群接口。 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 请求参数
停止作业 功能介绍 停止作业接口。 调用方法 请参见如何调用API。 URI PUT /v1.1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name}/stop 表1 路径参数 参数 是否必选 参数类型 描述 project_id
删除连接 功能介绍 删除连接接口。 调用方法 请参见如何调用API。 URI DELETE /v1.1/{project_id}/clusters/{cluster_id}/cdm/link/{link_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
查询作业状态 功能介绍 查询作业状态接口。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name}/status 表1 路径参数 参数 是否必选 参数类型 描述 project_id