检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的数据源 支持的数据源(2.10.0.300) 支持的数据源(2.9.3.300) 支持的数据源(2.9.2.200) 支持的数据类型
支持的数据源 支持的数据源(2.10.0.300) 支持的数据源(2.9.3.300) 支持的数据源(2.9.2.200) 支持的数据类型
数据传输安全 用户个人敏感数据将通过TLS 1.2、TLS1.3进行传输中加密,所有华为云CDM的API调用都支持 HTTPS 来对传输中的数据进行加密。 父主题: 安全
CDM是否支持参数或者变量? 问题描述 CDM是否支持参数或者变量? 解决方案 支持。 如果CDM作业使用了在数据开发时配置的作业参数或者变量,则后续在DataArts Studio数据开发模块调度此节点,可以间接实现CDM作业根据参数变量进行数据迁移。 父主题: 功能类
请联系客服或技术支持人员协助解决。 Cdm.1519 400 抽取数据错误。 抽取数据错误。 请联系客服或技术支持人员协助解决。 Cdm.1601 400 连接服务器失败。 连接服务器失败。 请联系客服或技术支持人员协助解决。
CDM迁移性能如何? 单个cdm.large规格实例理论上可以支持1TB~8TB/天的数据迁移,实际传输速率受公网带宽、集群规格、文件读写速度、作业并发数设置、磁盘读写性能等因素影响。更多详情请参见性能白皮书。 父主题: 通用类
进阶实践 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍
CDM可以跨账户使用吗? CDM不支持跨账户使用,可以通过授权给同一账户IAM子用户使用。 IAM用户授权操作步骤如下: 创建用户组并授权 在IAM控制台创建用户组,并授予CDM集群只读权限“CDM ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入
配置连接参数 OBS连接参数说明 PostgreSQL/SQLServer连接参数说明 数据仓库服务(DWS)连接参数说明 云数据库MySQL/MySQL数据库连接参数说明 Oracle数据库连接参数说明 DLI连接参数说明 Hive连接参数说明 HBase连接参数说明 HDFS连接参数说明
连接参数说明 关系数据库连接 OBS连接 HDFS连接 HBase连接 CloudTable连接 Hive连接 FTP/SFTP连接 MongoDB连接 Redis连接 Kafka连接 DIS连接 Elasticsearch/云搜索服务(CSS)连接 DLI连接 CloudTable
源端为Hive JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig.hive
目的端为DDS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig.database
源端为MongoDB/DDS JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name"
如何调用API 构造请求 认证鉴权 返回结果
目的端作业参数说明 目的端为关系数据库 目的端为OBS 目的端为HDFS 目的端为Hive 目的端为HBase/CloudTable 目的端为DDS 目的端为Elasticsearch/云搜索服务 目的端为DLI 目的端为DIS 父主题: 公共数据结构
作业管理 查询作业 删除作业 修改作业 随机集群创建作业并执行 停止作业 指定集群创建作业 启动作业 查询作业状态 查询作业执行历史 父主题: API
目的端为DLI JSON样例 "to-config-values": { "configs": [ { "inputs": [
在CDM集群中创建连接 创建CDM与数据源之间的连接 配置连接参数 上传CDM连接驱动 新建Hadoop集群配置
车联网大数据零丢失搬迁入湖 车联网大数搬迁入湖简介场景介绍 迁移准备 CDM迁移近一个月的数据 DES迁移一个月前的历史数据 MRS中恢复HBase表
在CDM集群中创建作业 新建表/文件迁移作业 新建整库迁移作业 配置CDM作业源端参数 配置CDM作业目的端参数 配置CDM作业字段映射 配置CDM作业定时任务 CDM作业配置管理 管理单个CDM作业 批量管理CDM作业