检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
贸易数据极简上云与统计分析 贸易数据上云场景介绍 操作流程概述 使用CDM上传数据到OBS 分析数据
员投入不足，大数据集群能力不匹配，而无法聚焦业务创新，使得存量100T的数据只有4%的利用率。 在将本地的贸易统计数据迁移到华为云之后，基于华为公有云的大数据分析能力，可帮助H公司屏蔽大数据基础设施复杂的构建、维护过程，使其客户人员可以全身心聚焦业务创新，盘活100T的存量数据，使资产最大化变现。
如何将云下内网或第三方云上的私网与CDM连通？ 很多企业会把关键数据源建设在内网，例如数据库、文件服务器等。由于CDM运行在云上，如果要通过CDM迁移内网数据到云上的话，可以通过以下几种方式连通内网和CDM的网络： 如果目标数据源为云下的数据库，则需要通过公网或者专线打通网络。通
量成千上万。 支持数据库、Hadoop、NoSQL、数据仓库、文件等多种类型的数据源。 多种网络环境支持 随着云计算技术的发展，用户数据可能存在于各种环境中，例如公有云、自建/托管IDC、混合场景等。在异构环境中进行数据迁移需要考虑网络连通性等因素，给开发和维护都带来较大难度。
的集合，有独立的风火水电，AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前，华为云已在全球多个地域开放云服务，您可以根据需求
应用场景 大数据迁移上云 本地数据是指存储在用户自建或者租用的IDC中的数据，或者第三方云环境中的数据，包括关系型数据库、NoSQL数据库、OLAP数据库、文件系统等。 这个场景是用户希望利用云上的计算和存储资源，需要先将本地数据迁移上云。该场景下，需要保证本地网络与云上网络是连通的。
创建连接 CDM有两种迁移方式，支持的数据源有所不同： 表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件迁移支持的数据源类型。 整库迁移：适用于数据入湖和数据上云场景下，离线或自建数据库整体迁移场景，请参见整库迁移支持的数据源类型。 支持的数据源 新建连接
跨区域的复制：指的是华为云各个Region之间的数据复制和备份。 目前支持以下他云对象存储数据的入云迁移：亚马逊云、阿里云、微软云、百度云、华为云、金山云、青云、七牛云、腾讯云。 云数据迁移CDM服务也同样支持对象存储数据迁移，两者的区别为： OMS用于他云到华为云的数据迁移。 CDM主要
建或公有云上的文件系统，关系数据库，数据仓库，NoSQL数据库，大数据云服务，对象存储等数据源。 CDM适用于以下场景： 数据上云：使用华为公有云服务时，用户可以将其历史数据或增量数据从私有云/本地数据中心/第三方公有云迁移到华为云。 云服务间数据交换：用户可以在华为云的大数据服
参考创建OBS表创建OBS外表，包括贸易统计数据库、贸易详单信息表和基础信息表。 基于业务需求，在DLI控制台中开发相应的SQL脚本进行贸易统计分析。 父主题： 贸易数据极简上云与统计分析
资产识别与管理 云资源的标识与管理可通过标签实现。 使用场景 通常您的业务系统可能使用了华为云的多种云服务，您可以为这些云服务下不同的资源实例分别设置标签（对于CDM而言，标签作用于其集群上），各服务产生的计费详单中都会体现这些资源实例和实例上设置的标签。如果您的业务系统是由多个
支持数据库、Hadoop、NoSQL、数据仓库、文件等多种类型的数据源，具体数据类型请参见支持的数据源。 多种网络环境支持 随着云计算技术的发展，用户数据可能存在于各种环境中，例如公有云、自建/托管IDC（Internet Data Center，互联网数据中心）、混合场景等。在异构环境中进行数据
问题描述 CDM从OBS迁移数据到DLI出现迁移中断失败。 解决方案 此类作业问题表现为配置了脏数据写入，但并无脏数据。这种情况下需要调低并发任务数，即可避免此类问题。 父主题： 故障处理类
未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数，超出规格的Task排队等待运行。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关，并发数上限建议配置为vCPU核数*2，如表1所示。 表1
通过CDM作业的定时任务，每天自动上传增量数据到OBS。 使用DLI分析数据 通过DLI直接分析OBS中的业务数据，支撑H公司客户进行贸易统计分析。 父主题： 贸易数据极简上云与统计分析
可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 ` 单次写入行数 指定单次批量写入的行数，当写入行数累计到单次批量提交行数时提交一次，该值应当小于单次提交行数。 100 父主题： 配置连接参数
继续定位发现记录几乎都写入到了一个分片中。至此问题清楚。是因为产生了热点。 解决方案 用户在迁移时有选择主键，也就是用它来替代 _id。计算出来的shard属同一个。 1. 建议用户不选主键，让es自动生成_id, 这样获的hash值比较分散。 2. 如果用户的应用必须用自有主
使用CDM上传数据到OBS 上传存量数据 上传增量数据 父主题： 贸易数据极简上云与统计分析
户需拥有OBS的读取权限。 目的端为DLI数据源时，抽取并发数建议配置为1，否则可能会导致写入失败。 Oracle数据源约束 不支持Oracle实时增量数据同步。 分布式缓存服务（DCS）和Redis数据源约束 第三方云的Redis服务无法支持作为源端。如果是用户在本地数据中心或
Hudi目的端的作业执行卡Running，读取行数写入行数相等且不再增加怎么解决？ 问题描述 CDM写Hudi为两段式，先写到hive临时表，然后再执行spark sql写到Hudi，写入行数统计的是写hive临时表的行数，当行数不再增长时，说明源端数据已经读完写到Hive表中，此时作业正在执行Spark
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
