检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图3所示。 图3 单击新增访问密钥 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件
定义新增字段。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 其他场景下,CDM会自动匹配源端和目的端数据表字段,需用户检查字段映射关系和时间格式是否正确,例
MySQL连接适用于第三方云MySQL服务,以及用户在本地数据中心或ECS上自建的MySQL。本教程为您介绍如何创建MySQL连接器。 前提条件 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。 本地MySQL数据库可通过公网访问。如果MySQ
Microsoft SQL Server PostgreSQL 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 从这些数据源导出数据时,CDM使用JDBC接口抽取数据,源端作业参数
connection from pool错误怎么解决? Oracle迁移到DWS报错ORA-01555 FTP测试连通性失败,报服务器内部错误怎么解决? CDM连接RDS-Mysql ,除root用户外,其他用户都报错,怎么办? MRS Hive,MRS Kafka,MRS Hudi数据源创建连接时IP长度校验不通过,如何处理?
CDM与其他数据迁移服务有什么区别,如何选择? 华为云上涉及数据迁移的服务有以下几种: 云数据迁移服务 CDM 对象存储迁移服务 OMS 数据复制服务 DRS 主机迁移服务 SMS 数据库和应用迁移 UGO 数据快递服务 DES 上述数据迁移服务的区别请参见各个数据迁移服务区别。 什么是云数据迁移服务(CDM)
cle连接参数: 名称:用户自定义连接名称,例如“oracle_link”。 数据库服务器地址、端口:配置为Oracle服务器的地址、端口。 数据库名称:选择要导出数据的Oracle数据库名称。 用户名、密码:Oracle数据库的登录用户名和密码,该用户需要拥有Oracle元数据的读取权限。
目前CDM采用独立集群的方式为用户提供安全可靠的数据迁移服务,各集群之间相互隔离,不可相互访问。目前一个集群只支持一个服务器。 前提条件 已申请VPC、子网和安全组。CDM集群连接云上其它服务时,需确保CDM集群与待连接的云服务在同一个VPC。如果CDM集群与其它云服务所属不同VPC,则CDM集群需要通过EIP连接云服务。
OBS连接 HDFS连接 HBase连接 CloudTable连接 Hive连接 FTP/SFTP连接 MongoDB连接 Redis连接 Kafka连接 DIS连接 Elasticsearch/云搜索服务(CSS)连接 DLI连接 CloudTable OpenTSDB连接 DMS
String 服务器地址列表,格式如:“host1:port1;host2:port2”。 linkConfig.database 是 String MongoDB的数据库名称。 linkConfig.userName 是 String 连接MongoDB服务器的用户名。 linkConfig
您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图5所示。 图5 单击新增访问密钥 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件
在客户端提供认证信息后,返回该状态码,表明服务端指出客户端所提供的认证信息不正确或非法。 402 Payment Required 保留请求。 403 Forbidden 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。
或参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。在DataArts Studio控制台首页,选择对应工作空间的“数据集成”模块,进入CDM首页。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。
源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch/云搜索服务 父主题: 公共数据结构
与其他云服务的关系 统一身份认证服务 您注册的云账号对其所拥有的资源及云服务具有完全的访问权限,如果您需要给企业中的员工设置不同的CDM访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)进
配置CDM作业源端参数 配置OBS源端参数 配置HDFS源端参数 配置HBase/CloudTable源端参数 配置Hive源端参数 配置DLI源端参数 配置FTP/SFTP源端参数 配置HTTP源端参数 配置PostgreSQL/SQL Server源端参数 配置DWS源端参数 配置SAP HANA源端参数
linkConfig.serverlist 是 String 服务器地址列表,格式如:“host1:port1;host2:port2”。 linkConfig.password 是 String 连接Redis服务器的密码。 linkConfig.dbIndex 是 String
服务韧性 CDM通过流量限制、备份恢复等技术方案,保障数据的持久性和可靠性。 关于CDM备份,用户可以先通过CDM的批量导出功能,把所有作业脚本保存到本地,在需要的时候再重新创建集群、重新导入作业,实现作业备份。 父主题: 安全
cle连接参数: 名称:用户自定义连接名称,例如“oracle_link”。 数据库服务器地址、端口:配置为Oracle服务器的地址、端口。 数据库名称:选择要导出数据的Oracle数据库名称。 用户名、密码:Oracle数据库的登录用户名和密码,该用户需要拥有Oracle元数据的读取权限。
件格式,适用于文件到文件的迁移。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,此处的“文件格式”只能选择与源端的文件格式一致。 CSV格式 重复文件处理方式 当源端为文件类数据源(HTTP/FTP/SFTP/HDFS/OBS)时配置。 只有文件名和文