检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HIVE_3_X linkConfig.user 否 String 登录Manager平台的用户名，使用集群配置时不用配置 linkConfig.password 否 String 登录Manager平台的密码，使用集群配置时不用配置 linkConfig.uri 否 String 连接Apache
贸易数据极简上云与统计分析 贸易数据上云场景介绍 操作流程概述 使用CDM上传数据到OBS 分析数据
本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或第三方云上，需要确保MySQL可以通过公网IP访问，或者是已经建立好了企业内部数据中心到云服务平台的VPN通道或专线。 已创建CDM集群。 新建MySQL连接器 进入CDM主界面，单击左侧导航上的“集群管理”，选择CDM集群后的“作业管理
本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或第三方云上，需要确保MySQL可以通过公网IP访问，或者是已经建立好了企业内部数据中心到云服务平台的VPN通道或专线。 已创建CDM集群。 新建MySQL连接器 进入CDM主界面，单击左侧导航上的“集群管理”，选择CDM集群后的“作业管理
接名。 hivelink Manager IP FusionInsight Manager平台的地址。 127.0.0.1 Manager端口 FusionInsight Manager平台的端口。 28443 CAS Server端口 与FusionInsight对接的CAS Server的端口。
选择“集群 > > 待操作的集群名称 > 概览 > 更多 > 下载客户端”，界面显示“下载集群客户端”对话框。 对话框中选择“仅配置文件”，平台类型和服务端保持一致，其他保持默认即可，单击确认后进行本地下载。 获取下载的tar包，此即为FusionInsight集群配置文件。 针对MRS
分析数据 通过DLI直接对OBS数据进行贸易统计分析。 前提条件 DLI创建OBS外表，对OBS表数据存储格式有所要求： 使用DataSource语法创建OBS表时，支持orc，parquet，json，csv，carbon，avro类型。 使用Hive语法创建OBS表时，支持TEXTFILE
操作流程概述 流程介绍 使用CDM+OBS+DLI进行贸易统计分析的操作过程主要包括2个步骤： 使用CDM上传数据到OBS 通过CDM将H公司存量数据上传到对象存储服务OBS。 通过CDM作业的定时任务，每天自动上传增量数据到OBS。 使用DLI分析数据 通过DLI直接分析OBS
使用CDM上传数据到OBS 上传存量数据 上传增量数据 父主题： 贸易数据极简上云与统计分析
本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或第三方云上，需要确保MySQL可以通过公网IP访问，或者是已经建立好了企业内部数据中心到云服务平台的VPN通道或专线。 已获取本地MySQL数据库和RDS上MySQL数据库的IP地址、数据库名称、用户名和密码。 已在CDM集群的“作业管理
本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或第三方云上，需要确保MySQL可以通过公网IP访问，或者是已经建立好了企业内部数据中心到云服务平台的VPN通道或专线。 已获取本地MySQL数据库和RDS上MySQL数据库的IP地址、数据库名称、用户名和密码。 已在CDM集群的“作业管理
应用场景 大数据迁移上云 本地数据是指存储在用户自建或者租用的IDC中的数据，或者第三方云环境中的数据，包括关系型数据库、NoSQL数据库、OLAP数据库、文件系统等。 这个场景是用户希望利用云上的计算和存储资源，需要先将本地数据迁移上云。该场景下，需要保证本地网络与云上网络是连通的。
DES迁移一个月前的历史数据 迁移流程 通过脚本将一个月前的历史数据导入到DES盒子。DES盒子的相关操作请参见数据快递服务 DES。 DES将数据快递到华为云数据中心。 使用华为云CDM将DES中的数据迁移到华为云OBS。 使用华为云CDM将OBS数据迁移到MRS。 其中CDM
权限管理 如果您需要对CDM集群，给企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全地控制云资源的访问。
管理集群标签 操作场景 CDM集群已经创建成功后，支持新增、修改及删除CDM集群的标签。使用标签可以标识多种云资源，后续在TMS标签系统或者CDM集群管理列表中可筛选出同一标签的云资源。 一个CDM集群最多可新增10个标签。 前提条件 已创建CDM集群。 操作步骤 登录CDM管理
与其他云服务的关系 统一身份认证服务 您注册的云账号对其所拥有的资源及云服务具有完全的访问权限，如果您需要给企业中的员工设置不同的CDM访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进
支持云审计的关键操作 云审计服务（Cloud Trace Service，简称CTS）为用户提供了云账户下资源的操作记录，可以帮您记录相关的操作事件，便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster
车联网大数据零丢失搬迁入湖 车联网大数搬迁入湖简介场景介绍 迁移准备 CDM迁移近一个月的数据 DES迁移一个月前的历史数据 MRS中恢复HBase表
进阶实践 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍
支持的数据源 支持的数据源（2.10.0.300） 支持的数据源（2.9.3.300） 支持的数据源（2.9.2.200） 支持的数据类型
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
