已找到以下 66 条记录
产品选择
云数据迁移 CDM
没有找到结果,请重新输入
产品选择
云数据迁移 CDM
产品选择
没有找到结果,请重新输入
  • 与其他云服务关系 - 云数据迁移 CDM

    Management,简称IAM)进行精细权限管理。IAM提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全控制云资源访问。 虚拟私有云 CDM集群创建在虚拟私有云(Virtual Private Cloud,简称VPC)子网内,VPC通过逻辑方式进行网络隔离,为用户集群提供安全、隔离网络环境。

  • 配置MRS Hudi目的端参数 - 云数据迁移 CDM

    不存在时创建:当目的端数据库没有“表名”参数中指定表时,CDM会自动创建该表。如果“表名”参数配置表已存在,则不创建,数据写入到已存在表中。 不自动创表 导入前清空数据 选择目的端表中数据处理方式: 是:任务启动前会清除目标表中数据。 否:导入前不清空目标表中数据,如果选“否

  • 查询连接 - 云数据迁移 CDM

    如果是连接管理API,则以“linkConfig.”开头,对于不同连接类型有不同参数,具体可参见连接参数说明下相应连接参数说明。 如果是作业管理API,对于源端连接参数,则以“fromJobConfig.”开头,具体可参见源端作业参数说明下相应源端参数说明;对于目的端连接参数,则以“toJobConfig

  • 创建CDM与数据源之间连接 - 云数据迁移 CDM

    在连接管理界面找到需要修改连接: 删除连接:单击操作列“删除”删除该连接,或者勾选连接后单击列表上方“删除连接”来批量删除未被任何作业使用连接。 编辑连接:单击该连接名称,或者单击操作列“编辑”进入修改连接界面,修改连接时需要重新输入数据源登录密码。 测试连通性:单击操作列“测试连通性”,直接测试已保存连接的连通性。

  • 目的端为Elasticsearch/云搜索服务 - 云数据迁移 CDM

    是否必选 类型 说明 toJobConfig.index 是 String 写入数据索引,类似关系数据库中数据库名称。 toJobConfig.type 是 String 写入数据类型,类似关系数据库中表名。 toJobConfig.shouldClearType 否 Boolean

  • 配置Doris目的端参数 - 云数据迁移 CDM

    表1 Doris作为目的端时作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据目标表名,单击输入框后面的按钮可进入表选择界面。 该参数支持配

  • Hudi目的端作业执行Spark SQL写入Hudi失败怎么办? - 云数据迁移 CDM

    表,或者表在metastore中存在,但是表目录不存在,根因是在表目录下没有.hoodie目录。可能删表时候只删了文件而没有drop table。 设置为主键或者预聚合键列有空值,写入hoodie会失败。 查看作业配置,查看表属性中hoodie.datasource.write

  • 基本概念 - 云数据迁移 CDM

    用户注册时账号,账号对其所拥有的资源及云服务具有完全访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建IAM用户并使用他们进行日常管理工作。 IAM用户 由账号在IAM中创建用户,是云服务使用人员,具有身份凭证(密码和访问密钥)。

  • 配置Elasticsearch/云搜索服务(CSS)目的端参数 - 云数据迁移 CDM

    表/文件迁移和整库迁移时需配置参数不同,下表参数为表/文件迁移时全量参数,实际参数以界面显示为准。 表1 Elasticsearch/云搜索服务(CSS)作为目的端时作业参数 参数名 说明 取值样例 索引 待写入数据Elasticsearch索引,类似关系数据库中数据库名称。CDM

  • 查询作业 - 云数据迁移 CDM

    如果是连接管理API,则以“linkConfig.”开头,对于不同连接类型有不同参数,具体可参见连接参数说明下相应连接参数说明。 如果是作业管理API,对于源端连接参数,则以“fromJobConfig.”开头,具体可参见源端作业参数说明下相应源端参数说明;对于目的端连接参数,则以“toJobConfig

  • 修改连接 - 云数据迁移 CDM

    如果是连接管理API,则以“linkConfig.”开头,对于不同连接类型有不同参数,具体可参见连接参数说明下相应连接参数说明。 如果是作业管理API,对于源端连接参数,则以“fromJobConfig.”开头,具体可参见源端作业参数说明下相应源端参数说明;对于目的端连接参数,则以“toJobConfig

  • 性能调优 - 云数据迁移 CDM

    数据迁移作业提交运行后,CDM会根据作业配置中“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。 不同源端数据源作业分片维度有所不同,因此某些作业可能出现未严格按作业“抽取并发数”参数分片情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中“最大抽取并发数”参数,超出规格Task排队等待运行。

  • 创建连接 - 云数据迁移 CDM

    如果是连接管理API,则以“linkConfig.”开头,对于不同连接类型有不同参数,具体可参见连接参数说明下相应连接参数说明。 如果是作业管理API,对于源端连接参数,则以“fromJobConfig.”开头,具体可参见源端作业参数说明下相应源端参数说明;对于目的端连接参数,则以“toJobConfig

  • Oracle数据迁移到DWS - 云数据迁移 CDM

    到DWS任务。 图4 创建Oracle到DWS迁移任务 作业名称:用户自定义便于记忆、区分任务名称。 源端作业配置 源连接名称:选择创建Oracle连接中“oracle_link”。 模式或表空间:待迁移数据数据库名称。 表名:待迁移数据表名。 高级属性里可选参数一般情况下保持默认即可。

  • Oracle数据迁移到DWS - 云数据迁移 CDM

    到DWS任务。 图4 创建Oracle到DWS迁移任务 作业名称:用户自定义便于记忆、区分任务名称。 源端作业配置 源连接名称:选择创建Oracle连接中“oracle_link”。 模式或表空间:待迁移数据数据库名称。 表名:待迁移数据表名。 高级属性里可选参数一般情况下保持默认即可。

  • MRS HDFS数据迁移到OBS - 云数据迁移 CDM

    ManagerIP地址,可以单击输入框后“选择”来选定已创建MRS集群,CDM会自动填充下面的鉴权参数。 用户名:选择KERBEROS鉴权时,需要配置MRS Manager用户名和密码。 从HDFS导出目录时,如果需要创建快照,这里配置用户需要HDFS系统管理员权限。 密码:访问MRS

  • MRS HDFS数据迁移到OBS - 云数据迁移 CDM

    ManagerIP地址,可以单击输入框后“选择”来选定已创建MRS集群,CDM会自动填充下面的鉴权参数。 用户名:选择KERBEROS鉴权时,需要配置MRS Manager用户名和密码。 从HDFS导出目录时,如果需要创建快照,这里配置用户需要HDFS系统管理员权限。 密码:访问MRS

  • 指定集群创建作业 - 云数据迁移 CDM

    如果是连接管理API,则以“linkConfig.”开头,对于不同连接类型有不同参数,具体可参见连接参数说明下相应连接参数说明。 如果是作业管理API,对于源端连接参数,则以“fromJobConfig.”开头,具体可参见源端作业参数说明下相应源端参数说明;对于目的端连接参数,则以“toJobConfig

  • 修改作业 - 云数据迁移 CDM

    如果是连接管理API,则以“linkConfig.”开头,对于不同连接类型有不同参数,具体可参见连接参数说明下相应连接参数说明。 如果是作业管理API,对于源端连接参数,则以“fromJobConfig.”开头,具体可参见源端作业参数说明下相应源端参数说明;对于目的端连接参数,则以“toJobConfig

  • 时间宏变量使用解析 - 云数据迁移 CDM

    在创建表/文件迁移作业时,CDM支持在源端和目的端以下参数中配置时间宏变量: 源端源目录或文件 源端表名 “通配符”过滤类型中目录过滤器和文件过滤器 “时间过滤”中起始时间和终止时间 分区过滤条件和Where子句 目的端写入目录 目的端表名 支持通过宏定义变量表示符“${}”来完成时间类型宏定义,当前