已找到以下 192 条记录
AI智能搜索
产品选择
云数据迁移 CDM
没有找到结果,请重新输入
产品选择
云数据迁移 CDM
在搜索结果页开启AI智能搜索
开启
产品选择
没有找到结果,请重新输入
会话过期
当前登录超时,请重新登录
  • 随机集群创建作业并执行 - 云数据迁移 CDM

    源连接名称,即为通过“创建连接”接口创建连接对应连接名。 creation-user 否 String 创建作业用户。由系统生成,用户无需填写。 creation-date 否 Long 作业创建时间,单位:毫秒。由系统生成,用户无需填写。 update-date 否 Long 作业最后更新时间,单位:毫秒。由系统生成,用户无需填写。

  • 故障处理类 - 云数据迁移 CDM

    怎么处理? Hudi目的端作业自动建表报错:schema不匹配,建表失败怎么办? Hudi目的端作业失败,日志报错Read Timeout怎么解决? Hudi目的端作业执行卡Running,读取行数写入行数相等且不再增加怎么解决? Hudi目的端作业执行卡Running,数据写入行数一直显示为0如何处理?

  • 应用示例 - 云数据迁移 CDM

    BYTES_WRITTEN:表示写入字节数。 BYTES_READ:表示读取字节数。 TOTAL_FILES:表示总文件数。 FILES_WRITTEN:表示写入文件数。 FILES_READ:表示读取文件数。 ROWS_WRITTEN:表示写入成功行数。 ROWS_READ:表示读取成功行数。

  • 迁移作业原理 - 云数据迁移 CDM

    取决于源端数据源性能。 如需优化,请参见源端数据源相关说明文档。 网络带宽 CDM集群与数据源之间可以通过内网、公网VPN、NAT或专线等方式互通。 通过内网互通时,网络带宽是根据不同CDM实例规格带宽限制。 cdm.large实例规格CDM集群网卡基准/最大带宽为0

  • 指定集群创建作业 - 云数据迁移 CDM

    源连接名称,即为通过“创建连接”接口创建连接对应连接名。 creation-user 否 String 创建作业用户。由系统生成,用户无需填写。 creation-date 否 Long 作业创建时间,单位:毫秒。由系统生成,用户无需填写。 update-date 否 Long 作业最后更新时间,单位:毫秒。由系统生成,用户无需填写。

  • 修改作业 - 云数据迁移 CDM

    源连接名称,即为通过“创建连接”接口创建连接对应连接名。 creation-user 否 String 创建作业用户。由系统生成,用户无需填写。 creation-date 否 Long 作业创建时间,单位:毫秒。由系统生成,用户无需填写。 update-date 否 Long 作业最后更新时间,单位:毫秒。由系统生成,用户无需填写。

  • 配置OBS源端参数 - 云数据迁移 CDM

    压缩格式 选择对应压缩格式源文件: 无:表示传输所有格式文件。 GZIP:表示只传输GZIP格式文件。 ZIP:表示只传输ZIP格式文件。 TAR.GZ:表示只传输TAR.GZ格式文件。 无 压缩文件后缀 压缩格式非无时,显示该参数。 该参数需要解压缩文件后缀名。当一批文件

  • 配置Elasticsearch/云搜索服务源端参数 - 云数据迁移 CDM

    Elasticsearch/云搜索服务作为源端时作业参数 参数类型 参数名 说明 取值样例 基本参数 索引 Elasticsearch索引,类似关系数据库中数据库名称。索引名称只能全部小写,不能有大写。 index 类型 Elasticsearch类型,类似关系数据库中表名称。类型名称只能全部小写,不能有大写。

  • 云数据迁移 CDM - 云数据迁移 CDM

    Migration,简称CDM),是一种高效、易用批量数据迁移服务。 CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用迁移能力和多种数据源到数据湖集成能力,降低了客户数据源迁移和集成复杂性,有效提高您数据迁移和集成效率。 产品首页 图说ECS 立即使用 立即使用

  • 创建CDM自定义策略 - 云数据迁移 CDM

    作用。用户被授予策略中,一个授权项作用如果同时存在Allow和Deny,则遵循Deny优先原则。 如果您给用户授予CDM FullAccess系统策略,但不希望用户拥有CDM FullAccess中定义删除CDM集群权限,您可以创建一条拒绝删除CDM集群自定义策略,然后同时将CDM

  • 获取集群列表为空/没有权限访问/操作时报当前策略不允许执行? - 云数据迁移 CDM

    在使用CDM时,可能遇到如下权限相关问题: 跳转到CDM首页,获取到集群列表为空。 提示没有权限访问,如图1所示。 执行启动作业/重启集群等操作时,报错当前策略不允许执行,如图2所示。 图1 没有权限访问 图2 不允许创建连接 原因分析 以上所列问题均属于权限配置问题。 解决方案

  • 性能调优 - 云数据迁移 CDM

    数据迁移作业提交运行后,CDM会根据作业配置中“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。 不同源端数据源作业分片维度有所不同,因此某些作业可能出现未严格按作业“抽取并发数”参数分片情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中“最大抽取并发数”参数,超出规格Task排队等待运行。

  • 配置Oracle源端参数 - 云数据迁移 CDM

    抽取数据模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择模式或表空间,请确认对应连接里账号是否有元数据查询权限。 说明: 该参数支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾所有数据库。例如:

  • 迁移数据到DLI时有数据丢失怎么处理? - 云数据迁移 CDM

    迁移数据到DLI时有数据丢失怎么处理? 问题描述 目的端是DLI迁移作业执行成功后,显示迁移数据条数和DLI表中查询数量对不上,存在数据丢失。 原因分析 查看客户作业配置,客户并发数设置是3,如图所示。 查看DLI官网文档不建议同时对一张表并发插入数据。 解决方案 将作业抽取并发数改成1 ,重跑作业问题解决。

  • 责任共担 - 云数据迁移 CDM

    华为云:负责云服务自身安全,提供安全云。华为云安全责任在于保障其所提供IaaS、PaaS和SaaS类云服务自身安全,涵盖华为云数据中心物理环境设施和运行其上基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。

  • Oracle迁移到DWS报错ORA-01555 - 云数据迁移 CDM

    查询过程中,其他用户频繁进行commit操作。 OracelRBS(rollbackspace 回滚时使用表空间)较小,造成迁移任务没有完成,源库已更新,回滚超时。 建议与总结 调小每次查询数据量。 通过修改数据库配置调大OracleRBS。 父主题: 故障处理类

  • 配置DWS目的端参数 - 云数据迁移 CDM

    不存在时创建:当目的端数据库没有“表名”参数中指定表时,CDM会自动创建该表。如果“表名”参数配置表已存在,则不创建,数据写入到已存在表中。 先删除后创建:CDM先删除“表名”参数中指定表,然后再重新创建该表。 当选择在DWS端自动创表时,DWS表与源表字段类型映射关系见在DWS端自动建表时的字段类型映射。

  • CDM迁移数据到DWS时如何选取分布列? - 云数据迁移 CDM

    sight LibrA,且CDM在DWS端自动创建一个新表时,在创建作业字段映射界面,需要选择分布列,如图1所示。 图1 选取分布列 由于分布列选取,对于DWS/FusionInsight LibrA运行非常重要,在CDM数据迁移到DWS/FusionInsight LibrA过程中,建议按如下顺序选取分布列:

  • 基本概念 - 云数据迁移 CDM

    用户注册时账号,账号对其所拥有的资源及云服务具有完全访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建IAM用户并使用他们进行日常管理工作。 IAM用户 由账号在IAM中创建用户,是云服务使用人员,具有身份凭证(密码和访问密钥)。

  • 新建Hadoop集群配置 - 云数据迁移 CDM

    集群配置名:根据连接数据源类型,用户可自定义便于记忆、区分集群配置名。 上传集群配置:单击“添加文件”以选择本地集群配置文件,然后通过操作框右侧“上传文件”进行上传。 Principal:仅安全模式集群需要填写该参数。Principal即Kerberos安全模式下用户名,需要与Keytab文件保持一致。