已找到以下 81 条记录。
产品选择
云数据迁移 CDM
没有找到结果,请重新输入
产品选择
云数据迁移 CDM
产品选择
没有找到结果,请重新输入
  • 新增字段操作指导 - 云数据迁移 CDM

    当作业源端为OBS、迁移CSV文件时,并且配置“解析首行为列名”参数场景显示列名。 当使用二进制格式进行文件到文件迁移时,没有字段映射这一步。 自动创表场景,需在目的端表中提前手动新增字段,再在字段映射里新增字段。 添加完字段后,新增字段在界面不显示样值,不会影响字段值传输,CDM会将字段值直接写入目的端。

  • 文件增量迁移 - 云数据迁移 CDM

    关键配置:文件/路径过滤器+定时执行作业。 前提条件:源端目录或文件名带有时间字段。 增量导出指定时间以后文件 适用场景:源端数据源为文件类型(OBS/HDFS/FTP/SFTP)。这里指定时间,是指文件修改时间,当文件修改时间大于等于指定起始时间,CDM才迁移该文件。 关键配置:时间过滤+定时执行作业。 前提条件:无。

  • 步骤1:创建集群 - 云数据迁移 CDM

    当CDM集群与其他云服务所在区域不一致时,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云数据源所在主机、数据源所在主机可以访问公网且防火墙规则已开放连接端口。 另外,如果创建了企业项目,则企业项目也会影响CDM集群与其他云服务网络互

  • 创建MRS Hive连接器 - 云数据迁移 CDM

    0及之后版本,则所创建的用户至少需具备Manager_viewer角色权限才能在CDM创建连接;如果需要对MRS组件库、表、列进行操作,还需要参考MRS文档添加对应组件库、表、列操作权限。 如果CDM集群为2.9.0之前版本,或MRS集群为3.1.0之前版本,则所创建用户需要具备Manager_adm

  • 创建MRS Hive连接器 - 云数据迁移 CDM

    0及之后版本,则所创建的用户至少需具备Manager_viewer角色权限才能在CDM创建连接;如果需要对MRS组件库、表、列进行操作,还需要参考MRS文档添加对应组件库、表、列操作权限。 如果CDM集群为2.9.0之前版本,或MRS集群为3.1.0之前版本,则所创建用户需要具备Manager_adm

  • 基本概念 - 云数据迁移 CDM

    用户注册时账号,账号对其所拥有的资源及云服务具有完全访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建IAM用户并使用他们进行日常管理工作。 IAM用户 由账号在IAM中创建用户,是云服务使用人员,具有身份凭证(密码和访问密钥)。

  • 上传存量数据 - 云数据迁移 CDM

    CDM会迁移整个目录下文件到OBS。 文件格式:选择“二进制格式”。这里文件格式是指CDM传输数据时所用格式,不会改变原始文件自身格式。迁移文件到文件时,推荐使用“二进制格式”,传输效率和性能都最优。 目的端作业配置: 目的连接名称:选择7创建OBS连接“obslink”。

  • MySQL数据迁移到MRS Hive分区表 - 云数据迁移 CDM

    Manager用户名和密码。从HDFS导出目录时,如果需要创建快照,这里配置用户需要HDFS系统管理员权限。 如果要创建MRS安全集群数据连接,不能使用admin用户。因为admin用户是默认管理页面用户,这个用户无法作为安全集群认证用户来使用。您可以创建一个新MRS用户

  • MySQL数据迁移到MRS Hive分区表 - 云数据迁移 CDM

    Manager用户名和密码。从HDFS导出目录时,如果需要创建快照,这里配置用户需要HDFS系统管理员权限。 如果要创建MRS安全集群数据连接,不能使用admin用户。因为admin用户是默认管理页面用户,这个用户无法作为安全集群认证用户来使用。您可以创建一个新MRS用户

  • DLI连接参数说明 - 云数据迁移 CDM

    DLI连接参数 参数名 说明 取值样例 名称 连接名称,根据连接数据源类型,用户可自定义便于记忆、区分连接名。 dli_link 访问标识(AK) 访问DLI数据库时鉴权所需AK和SK。 您需要先创建当前账号访问密钥,并获得对应AK和SK。 登录控制台,在用户名下拉列表中选择“我的凭证”。

  • 创建CDM与数据源之间连接 - 云数据迁移 CDM

    在连接管理界面找到需要修改连接: 删除连接:单击操作列“删除”删除该连接,或者勾选连接后单击列表上方“删除连接”来批量删除未被任何作业使用连接。 编辑连接:单击该连接名称,或者单击操作列“编辑”进入修改连接界面,修改连接时需要重新输入数据源登录密码。 测试连通性:单击操作列“测试连通性”,直接测试已保存连接的连通性。

  • 区域和可用区 - 云数据迁移 CDM

    区域。 资源价格 不同区域资源价格可能有差异,请参见华为云服务价格详情。 如何选择可用区? 是否将资源放在同一可用区内,主要取决于您对容灾能力和网络时延要求。 如果您应用需要较高容灾能力,建议您将资源部署在同一区域不同可用区内。 如果您应用要求实例之间网络延时较低,则建议您将资源创建在同一可用区内。

  • 上传CDM连接驱动 - 云数据迁移 CDM

    已参见FTP/SFTP连接参数说明创建SFTP连接并将对应驱动上传至线下文件服务器(可选)。 如何获取驱动 不同类型关系数据库,需要适配不同类型驱动。注意,上传驱动版本不必与待连接数据库版本相匹配,直接参考表1获取建议版本JDK8 .jar格式驱动即可。 表1 获取驱动 关系数据库类型 驱动名称

  • 新建表/文件迁移作业 - 云数据迁移 CDM

    Microsoft SQL Server PostgreSQL 支持从云端数据库服务导出数据。 这些非云服务数据库,既可以是用户在本地数据中心自建数据库,也可以是用户在ECS上部署,还可以是第三方云上数据库服务。 从这些数据源导出数据时,CDM使用JDBC接口抽取数据,源

  • 新建整库迁移作业 - 云数据迁移 CDM

    关系型数据库每张表、Redis每个键前缀、Elasticsearch每个类型、MongoDB每个集合都会作为一个子任务并发执行。 整库迁移作业每次运行,会根据整库作业配置重建子任务,不支持修改子任务后再重新运行主作业。 支持整库迁移数据源请参见支持数据源。 约束限制

  • 批量管理CDM作业 - 云数据迁移 CDM

    单击“导入”,选择JSON格式文件导入或文本导入。 文件导入:待导入作业文件必须为JSON格式(大小不超过1M)。如果待导入作业文件是之前从CDM中导出,则导入前必须先编辑JSON文件,将“Add password here”替换为对应连接正确密码,再执行导入操作。 文

  • 约束与限制 - 云数据迁移 CDM

    HEMA库读权限,以及对数据表读权限。 Oracle:需要该用户有resource角色,并在tablespace下有数据表select权限。 达梦:具有该schemaselect any table权限。 DWS:需要表schema usage权限和数据表查询权限。

  • 配置DWS目的端参数 - 云数据迁移 CDM

    不存在时创建:当目的端数据库没有“表名”参数中指定表时,CDM会自动创建该表。如果“表名”参数配置表已存在,则不创建,数据写入到已存在表中。 先删除后创建:CDM先删除“表名”参数中指定表,然后再重新创建该表。 当选择在DWS端自动创表时,DWS表与源表字段类型映射关系见在DWS端自动建表时的字段类型映射。

  • Hive连接参数说明 - 云数据迁移 CDM

    Manager用户名和密码。从HDFS导出目录时,如果需要创建快照,这里配置用户需要HDFS系统管理员权限。 如果要创建MRS安全集群数据连接,不能使用admin用户。因为admin用户是默认管理页面用户,这个用户无法作为安全集群认证用户来使用。您可以创建一个新MRS用户

  • 文件格式介绍 - 云数据迁移 CDM

    字段分隔符 用于分隔CSV文件中字符,支持单字符和多字符,也支持特殊字符,详见表1。 编码类型 文件编码类型,默认是UTF-8,中文编码有时会采用GBK。 如果源端指定该参数,则使用指定编码类型去解析文件;目的端指定该参数,则写入文件时候,以指定编码类型写入。 使用包围符