已找到以下 220 条记录
AI智能搜索
产品选择
云数据迁移 CDM
没有找到结果,请重新输入
产品选择
云数据迁移 CDM
在搜索结果页开启AI智能搜索
开启
产品选择
没有找到结果,请重新输入
  • 是否支持字段转换? - 云数据迁移 CDM

    是否支持字段转换? 支持,CDM支持以下字段转换器: 脱敏 去前后空格 字符串反转 字符串替换 表达式转换 创建表/文件迁移作业的字段映射界面,可新建字段转换器,如下图所示。 图1 新建字段转换器 脱敏 隐藏字符串中的关键信息,例如要将“12345678910”转换为“123****8910”,则配置如下:

  • 作业配置添加字段,MongoDB字段映射存在问题 - 云数据迁移 CDM

    作业配置添加字段,MongoDB字段映射存在问题 问题描述 CDM作业配置源端MongoDB添加字段,目的端MongoDB数据库字段映射,作业运行后,目的端数据库查看,数据存在问题,没有迁移成功。 故障分析 查看文档提示CDM通过获取样值的方式无法获得所有列。 添加字段,因为Mong

  • API概览 - 云数据迁移 CDM

    删除指定连接。 120次/min 作业管理API 指定集群创建作业 指定的CDM集群上创建数据迁移任务,作业不会启动。 1200次/min 随机集群创建作业并执行 指定的CDM集群列表中,随机选择一个开机状态的集群,该集群中创建作业并执行作业。 120次/min 查询作业 查询并显示作业列表。

  • 记录数据迁移入库时间 - 云数据迁移 CDM

    单击“下一步”配置任务参数,一般情况下全部保持默认即可。 单击“保存并运行”,回到作业管理的表/文件迁移界面,作业管理界面可查看作业执行进度和结果。 作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 历史记录界面单击“日志”,可查看作业的日志信息。

  • 构造请求 - 云数据迁移 CDM

    dpoint同一个区域也相同,所以简洁起见将这两部分省略。 请求方法 HTTP请求方法(也称为操作或动词),它告诉服务您正在请求什么类型的操作。 表2 HTTP方法 方法 说明 GET 请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。

  • 字段转换器配置指导 - 云数据迁移 CDM

    方式二:源字段中新增自定义字段,样值中填写时间宏变量,重新进行字段映射处理。 图3 源字段新增自定义字段 如果是导入到数据仓库服务(DWS),则还需目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。 没有主键的

  • 字段转换器配置指导 - 云数据迁移 CDM

    方式二:源字段中新增自定义字段,样值中填写时间宏变量,重新进行字段映射处理。 图3 源字段新增自定义字段 如果是导入到数据仓库服务(DWS),则还需目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。 没有主键的

  • 性能调优 - 云数据迁移 CDM

    主要运行逻辑如下: 数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。 不同源端数据源的作业分片维度有所不同,因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行运行。根据集

  • 迁移MySql到DWS,TINYINT类型迁移报错 - 云数据迁移 CDM

    迁移MySql到DWS,TINYINT类型迁移报错 问题描述 使用CDM从MySql迁移到DWS,运行作业报错“ERROR:value '-1'is out of range for 8 b-bit integer”。 故障分析 根据问题现象,目的端类型不支持值为“-1”插入,检查目的端字段映射,排查映射问题。

  • 记录数据迁移入库时间 - 云数据迁移 CDM

    单击“下一步”配置任务参数,一般情况下全部保持默认即可。 单击“保存并运行”,回到作业管理的表/文件迁移界面,作业管理界面可查看作业执行进度和结果。 作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 历史记录界面单击“日志”,可查看作业的日志信息。

  • 创建CDM自定义策略 - 云数据迁移 CDM

    "cdm:cluster:get", "ecs:*:get*", "ecs:*:list*", "vpc:*:get*"

  • 启动作业 - 云数据迁移 CDM

    响应Body参数 参数 参数类型 描述 submissions Array of StartJobSubmission objects 作业运行信息,请参见submission参数说明。 表5 StartJobSubmission 参数 参数类型 描述 isIncrementing

  • 入门实践 - 云数据迁移 CDM

    绍通过数据开发使用参数传递功能灵活调度CDM作业。 增量迁移 文件增量迁移 CDM支持对文件类数据源进行增量迁移,全量迁移完成之后,第二次运行作业时可以导出全部新增的文件,或者只导出特定的目录/文件。 关系数据库增量迁移 CDM支持对关系型数据库进行增量迁移,全量迁移完成之后,可

  • 套餐包到期未续订或按需资源欠费时,我的数据会保留吗? - 云数据迁移 CDM

    套餐包到期未续订或按需资源欠费时,我的数据会保留吗? 云服务进入宽限期/保留期后,华为云将会通过邮件、短信等方式向您发送提醒,提醒您续订或充值。保留期到期仍未续订或充值,存储云服务中的数据将被删除、云服务资源将被释放。 宽限期:指客户的包周期资源到期未续订或按需资源欠费时,华为云提供给客户进行续费与充值的时间,宽限期内客户可正常访问及使用云服务。

  • 作业任务参数说明 - 云数据迁移 CDM

    作业任务参数说明 指定集群创建作业或者随机集群创建作业并执行时,由“driver-config-values”参数指定作业任务配置,包含如下功能: 作业失败重试:如果作业执行失败,可选择是否自动重新启动作业。 作业分组:CDM支持对作业进行分组,分组后的作业可以按组显示、按组批

  • 什么是云数据迁移 - 云数据迁移 CDM

    相比于传统的依靠CDM集群进行生命周期管理CDM迁移作业,离线集成作业依靠数据开发组件的生命周期管理,由数据开发进行集成作业的统一调度和CDM集群资源的统一支配,作业运行可靠性更高、使用体验更佳,推荐您使用离线集成作业替代传统的CDM迁移作业。关于离线集成作业的更多介绍,请您参考离线集成作业概述。 离线处理

  • CDM迁移近一个月的数据 - 云数据迁移 CDM

    单击“保存”。 创建MRS HDFS连接: 作业管理界面,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,选择“MRS HDFS”。 单击“下一步”,配置连接参数,依次填写相关信息。“认证类型”选择“SIMPLE”,运行模式保持默认即可。 单击“测试”,如果右上角显

  • 字段映射界面无法显示所有列怎么处理? - 云数据迁移 CDM

    由于HBase/CloudTable无Schema,每条数据的列数不固定,字段映射界面CDM通过获取样值的方式有较大概率无法获得所有列,此时作业执行完后会造成目的端的数据不全。 这个问题,可以通过以下方法解决: CDM的字段映射界面增加字段。 CDM的作业管理界面直接编辑作业的JSON(修改“fromJobConfig

  • 返回结果 - 云数据迁移 CDM

    类型:字符串。request_id-timestamp-hostname(request_id服务器端生成UUID, timestamp为当前时间戳,hostname为处理当前接口的服务器名称)。 默认值:无。 否 X-ratelimit 此字段携带总计流控请求数。 类型:整型。

  • 新增字段操作指导 - 云数据迁移 CDM

    场景下显示列名。 当使用二进制格式进行文件到文件的迁移时,没有字段映射这一步。 自动创表场景下,需目的端表中提前手动新增字段,再在字段映射里新增字段。 添加完字段后,新增的字段界面不显示样值,不会影响字段值的传输,CDM会将字段值直接写入目的端。 如果字段映射关系不正确,您可