-
使用CDM上传数据到OBS - 云数据迁移 CDM
使用CDM上传数据到OBS 上传存量数据 上传增量数据 父主题: 案例:贸易数据统计与分析
-
Hudi源端案例库 - 云数据迁移 CDM
Hudi源端案例库 读Hudi作业长时间出于BOOTING状态怎么解决? 读Hudi作业字段映射多了一列col,作业执行失败怎么处理? 父主题: 故障处理类
-
使用教程 - 云数据迁移 CDM
使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务
-
查看审计日志 - 云数据迁移 CDM
查看审计日志 如何查看审计日志 支持云审计的关键操作
-
支持的数据源 - 云数据迁移 CDM
支持的数据源 支持的数据源(2.9.3.300) 支持的数据源(2.9.2.200) 支持的数据类型
-
增量迁移原理介绍 - 云数据迁移 CDM
增量迁移原理介绍 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 父主题: 关键操作指导
-
附录 - 云数据迁移 CDM
附录 状态码 错误码
-
公共数据结构 - 云数据迁移 CDM
公共数据结构 连接参数说明 源端作业参数说明 目的端作业参数说明 作业任务参数说明
-
源端为Kafka - 云数据迁移 CDM
源端为Kafka JSON样例 "from-config-values": { "configs": [ { "inputs": [ {
-
目的端为DIS - 云数据迁移 CDM
目的端为DIS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig
-
源端作业参数说明 - 云数据迁移 CDM
源端作业参数说明 源端为关系数据库 源端为对象存储 源端为HDFS 源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch/云搜索服务
-
区域和可用区 - 云数据迁移 CDM
个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。 如何选择区域? 选择区域时,您需要考虑以下几个因素:
-
CDM不同集群规格对应并发的作业数是多少? - 云数据迁移 CDM
不同源端数据源的作业分片维度有所不同,因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数,超出规格的Task排队等待运行。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关,并发数上限
-
应用场景 - 云数据迁移 CDM
大数据迁移上云 本地数据是指存储在用户自建或者租用的IDC中的数据,或者第三方云环境中的数据,包括关系型数据库、NoSQL数据库、OLAP数据库、文件系统等。 这个场景是用户希望利用云上的计算和存储资源,需要先将本地数据迁移上云。该场景下,需要保证本地网络与云上网络是连通的。 图1 大数据迁移上云
-
CDM迁移作业的抽取并发数应该如何设置? - 云数据迁移 CDM
不同源端数据源的作业分片维度有所不同,因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数,超出规格的Task排队等待运行。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关,并发数上限
-
认证证书 - 云数据迁移 CDM
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书
-
正则表达式分隔半结构化文本 - 云数据迁移 CDM
907 INFO [main] org.apache.catalina.startup.VersionLoggerListener.log OS Name: Linux 正则表达式为: ^(\d.*\d) (\w*) \[(.*)\] ([\w\.]*)
-
正则表达式分隔半结构化文本 - 云数据迁移 CDM
907 INFO [main] org.apache.catalina.startup.VersionLoggerListener.log OS Name: Linux 正则表达式为: ^(\d.*\d) (\w*) \[(.*)\] ([\w\.]*)
-
执行Spark SQL写入Hudi失败怎么办? - 云数据迁移 CDM
storage memory failed(RDD中缓存超过了executor的内存out of memory) 。 可以尝试的规避方法: 在作业管理界面选择“更多-失败重试”,尝试重新执行Spark SQL。 通过DataArts Studio执行Spark SQL,设置执行参数或者调整SQL。
-
场景介绍 - 云数据迁移 CDM
因为人员投入不足,大数据集群能力不匹配,而无法聚焦业务创新,使得存量100T的数据只有4%的利用率。 在将本地的贸易统计数据迁移到华为云之后,基于华为公有云的大数据分析能力,可帮助H公司屏蔽大数据基础设施复杂的构建、维护过程,使其客户人员可以全身心聚焦业务创新,盘活100T的存量数据,使资产最大化变现。