检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
偏移量”。 *.csv,*.txt 时间过滤 选择“是”时,可以根据文件的修改时间,选择性的传输文件。 是 起始时间 “过滤类型”选择“时间过滤器”时,可以指定一个时间值,当文件的修改时间大于等于该时间才会被传输,输入的时间格式需为“yyyy-MM-dd HH:mm:ss”。 该
300以上版本不支持Cassandra。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 Cassandra连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mongodb_link
配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的数据库实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 3306 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。
DDS连接适用于华为云上的文档数据库服务,常用于从DDS同步数据到大数据平台。 连接云服务DDS时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 DDS连接参数 参数名 说明 取值样例 名称 连接的名称,根
Elasticsearch连接适用于第三方云的Elasticsearch服务,以及用户在本地数据中心或ECS上自建的Elasticsearch。 Elasticsearch连接器仅支持非安全模式的Elasticsearch集群。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。
可选参数,连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。 ` 驱动版本 上传所需的驱动版本。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 单次提交行数
CDM作业可以将源表中的字段注释迁移到目标端表吗? 问题描述 CDM作业可以将源表中的字段注释迁移到目标端表吗? 解决方案 不同版本支持的情况不一样。 具体如下: 2.8.6.1版本支持,2.9.1版本不支持,2.9.2.1版本支持。 父主题: 功能类
关系型数据库的每张表、Redis的每个键前缀、Elasticsearch的每个类型、MongoDB的每个集合都会作为一个子任务并发执行。 整库迁移作业每次运行,会根据整库作业的配置重建子任务,不支持修改子任务后再重新运行主作业。 支持整库迁移的数据源请参见支持的数据源。 约束限制
MongoDB连接适用于第三方云MongoDB服务,以及用户在本地数据中心或ECS上自建的MongoDB,常用于从MongoDB同步数据到大数据平台。 连接本地MongoDB数据库时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1
文件过滤器,过滤类型为通配符时配置,用于过滤目录下的文件,支持配置多个文件,中间使用“,”分隔,例如:“*.csv,*.txt”。 fromJobConfig.startTime 否 String “过滤类型”选择“时间过滤器”时,可以指定一个时间值,当文件的修改时间大于等于该时间才会被传输,输入的时间格式需为“yyyy-MM-dd
作业从旧集群导出,再导入到新的集群失败怎么解决? 问题描述 旧CDM集群是2.6.0版本,新集群是2.8.6.1版本,导入作业报错如下图所示。 原因分析 初步怀疑是新老集群部分参数修改不兼容导致的,通过查看老集群导出的作业json文件,包含throttlingConfig.con
文件过滤器,过滤类型为通配符时配置,用于过滤目录下的文件,支持配置多个文件,中间使用“,”分隔,例如:“*.csv,*.txt”。 fromJobConfig.startTime 否 String “过滤类型”选择“时间过滤器”时,可以指定一个时间值,当文件的修改时间大于等于该时间才会被传输,输入的时间格式需为“yyyy-MM-dd
缺少字段检查将无法获得上次的值。 缺少字段。 请联系客服或技术支持人员协助解决。 Cdm.0921 400 不支持类型%s。 类型不合法。 请指定正确的类型后再重试。 Cdm.0925 400 分区字段含有不支持的值。 分区字段含有不支持的值。 请确认分区字段是否含有不支持的值,修改正确后再重试。
CDM集群已经创建成功后,支持新增、修改及删除CDM集群的标签。使用标签可以标识多种云资源,后续在TMS标签系统或者CDM集群管理列表中可筛选出同一标签的云资源。 一个CDM集群最多可新增10个标签。 前提条件 已创建CDM集群。 操作步骤 登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。
配额说明 CDM服务应用的基础设施如下: 弹性云服务器 虚拟私有云 弹性公网IP 消息通知服务 统一身份认证服务 其配额查看及修改请参见关于配额。
操作场景 CDM在配置字段映射时提示字段的数据类型不支持,要求删除该字段。如果需要使用该字段,可在源端作业配置中使用SQL语句对字段类型进行转换,转换成CDM支持的类型,达到迁移数据的目的。 操作步骤 修改CDM迁移作业,通过使用SQL语句的方式迁移。 SQL语句格式为:“select
际启动时间-偏移量”。 *.csv 时间过滤 选择“是”时,可以根据文件的修改时间,选择性的传输文件。 是 起始时间 “过滤类型”选择“时间过滤器”时,可以指定一个时间值,当文件的修改时间大于等于该时间才会被传输,输入的时间格式需为“yyyy-MM-dd HH:mm:ss”。 该
与加密时配置的“toJobConfig.dek”(导入时配置的数据加密密钥)一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 fromJobConfig.iv 否 String 解密需要的初始化向量,初始化向量由长度32的十六进制数组成,且必须与加密时配置的“toJobConfig
Microsoft SQL Server PostgreSQL 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 从这些数据源导出数据时,CDM使用JDBC接口抽取数据,源
该参数。 选择“是”后,迁移对象文件时会复制源文件的Content-Type属性,主要用于静态网站的迁移场景。 归档存储的桶不支持设置Content-Type属性,所以如果开启了该参数,目的端选择写入的桶时,必须选择非归档存储的桶。 toJobConfig.quoteChar 否