检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理并查看CDM监控指标 CDM支持的监控指标 设置CDM告警规则 查看CDM监控指标 父主题: 创建并管理CDM集群
创建表/文件迁移作业 在创建表/文件迁移作业时,选择已创建的源端连接器、目的端连接器。 图1 配置作业 单击“下一步”,进入“字段映射”配置页面后,单击源字段图标。
llinkConfig.host 否 String 连接MRS或FusionInsight HD时,需要配置Manager平台的IP地址。 linkConfig.port 否 String 连接FusionInsight HD时,需要配置Manager平台的端口。
对话框中选择“仅配置文件”,平台类型和服务端保持一致,其他保持默认即可,单击确认后进行本地下载。 获取下载的tar包,此即为FusionInsight集群配置文件。 针对MRS 2.x及之前版本集群: 登录MRS管理控制台。
linkConfig.user 是 String 登录MRS Manager平台的用户名。 linkConfig.password 是 String 登录MRS Manager平台的密码。
您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987 。 请求URI 请求URI由如下部分组成。 {URI-scheme}://{Endpoint}/{resource-path}?
您也可以通过这个视频教程了解AK/SK认证的使用:https://bbs.huaweicloud.com/videos/100697 。 父主题: 如何调用API
区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。
案例:车联网大数据业务上云 为搭建H公司车联网业务集团级的云管理平台,统一管理、部署硬件资源和通用类软件资源,实现IT应用全面服务化、云化,CDM(Cloud Data Migration,简称CDM)助力H公司做到代码“0”改动、数据“0”丢失迁移上云。
FI_hbase_link Manager IP FusionInsight Manager平台的地址。 127.0.0.1 Manager端口 FusionInsight Manager平台的端口。
平台的密码,使用集群配置时不用配置 linkConfig.uri 否 String 连接Apache Hadoop时的Namenode URI地址,格式为“ip:port” linkConfig.hiveMsUris 否 String 连接Apache Hadoop时的Hive元数据地址
如果MySQL服务器是在本地数据中心或第三方云上,需要确保MySQL可以通过公网IP访问,或者是已经建立好了企业内部数据中心到云服务平台的VPN通道或专线。 已创建CDM集群。
启动作业标识文件本身不会被迁移。 作业成功标识文件 文件系统为目的端的时候,当任务成功时,在目的端的目录下,生成一个空的文件,标识文件名由用户来指定。一般和“启动作业标识文件”搭配使用。
迁移文件时加解密 在迁移文件到文件系统时,CDM支持对文件加解密,目前支持以下加密方式: AES-256-GCM加密 KMS加密 AES-256-GCM加密 目前只支持AES-256-GCM(NoPadding)。
指定文件名迁移 从FTP/SFTP/OBS导出文件时,CDM支持指定文件名迁移,用户可以单次迁移多个指定的文件(最多50个),导出的多个文件只能写到目的端的同一个目录。
FI_hdfs_link Manager IP FusionInsight Manager平台的地址。 127.0.0.1 Manager端口 FusionInsight Manager平台的端口。
华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。
注:9866端口是HDFS文件系统DataNode的数据传输接口。 解决方案 因为DataNode节点防火墙为开启状态,CDM在与Datanode建立连接时失败导致获取块失败。关闭Datanode节点的防火墙后问题解决。 父主题: 故障处理类
如果CDM需要访问本地数据源、Internet的数据源,或者跨VPC的云服务,则必须要为CDM集群绑定一个弹性IP,或者使用NAT网关让CDM集群与其他弹性云服务器共享弹性IP访问Internet,具体操作请见添加SNAT规则。
DLI外表(OBS文件)迁移DWS某字段转义,带有“\” 问题描述 DLI 外表CDM服务将数据迁移到DWS(GaussDB)时候,有个字段迁移后多了一对引号,字段本身的引号多了转义符,其他字段没问题。