检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据库部署在华为云 同Region同租户直接连通网络 同Region不同租户通过对等连接连通网络 同Region不同租户通过企业路由器连通网络 跨Region通过云连接连通网络 父主题： 网络打通
车联网大数据零丢失搬迁入湖 车联网大数搬迁入湖简介场景介绍 迁移准备 CDM迁移近一个月的数据 DES迁移一个月前的历史数据 MRS中恢复HBase表
如今随着互联网以及物联网等技术的不断发展，越来越多的数据被生产出来，数据管理工具也得到了飞速的发展，大数据相关概念如雨后春笋一般应运而生，如从数据库、数据仓库、数据湖、湖仓一体等。这些概念分别指的是什么，又有着怎样的联系，同时，华为对应的产品与方案又是什么呢？
DataArts Studio必须基于华为云底座部署。资源隔离场景下，支持以全栈专属云模式部署，另外也支持以华为云Stack和HCS Online混合云模式部署。 关于全栈专属云、华为云Stack和HCS Online的适用场景和差异等更多信息，欢迎通过咨询了解。
华为数据治理实践 华为数据治理的规范流程建设，完成了从数据产生、数据整合、数据分析与数据消费全价值流的规则制定。华为数据治理组织实践，建立实体化的数据管理组织，向公司数据管理部汇报，同时组建了跨领域数据联合作战团队。华为已建立统一的数据分类管理框架，指导各领域进行分类管理。华为信息架构框架
准备工作 查询打通网络过程中所涉及到对象的网段（包含数据源、中转VPC、资源组），为便于理解，本章节将举例为您进行介绍。 表1 资源网段规划 资源名称 说明 私网网段示例 数据源网段 华为云数据源所属的VPC，各数据源VPC查看方式不同，具体方法请参考数据源官方文档。
CDM通过DES（数据快递服务）迁移1个月前的历史数据，迁移路径如下： CDH → DES → CDM（华为云） → OBS → CDM（华为云） → MRS DES适用场景：数据量大，用户私有云与华为云无专线打通，用户私有云网络到公网带宽有限。
准备工作 查询打通网络过程中所涉及到对象的网段（包含数据源、中转VPC、资源组），为便于理解，本章节将举例为您进行介绍。 表1 资源网段规划 资源名称 说明 私网网段示例 数据源VPC 华为云数据源所属的VPC，各数据源VPC查看方式不同，具体方法请参考数据源官方文档。
External：数据存储位置为OBS的表。当“表类型”设置为External时，需设置“OBS路径””参数。OBS路径格式如：/bucket_name/filepath。 DWS模型的表支持以下表类型： DWS_ROW：行存表。行存储是指将表按行存储到硬盘分区上。
准备工作 查询打通网络过程中所涉及到对象的网段（包含数据源、中转VPC、资源组），为便于理解，本章节将举例为您进行介绍。 表1 资源网段规划 资源名称 说明 私网网段示例 数据源VPC 华为云数据源所属的VPC，各数据源VPC查看方式不同，具体方法请参考数据源官方文档。
"value": "cdm-est" }, { "name": "fromJobConfig.inputDirectory", "value": "/obsfrom
对象存储迁移服务 OMS 对象存储迁移 他云对象存储数据迁移到华为云 华为云各Region间的数据迁移 与CDM的区别： OMS用于他云到华为云的数据迁移；CDM主要用于OBS数据迁移到数据湖或其他大数据系统，以便对数据进行开发、清洗、治理等。
fromJobConfig.useQuery 否 Boolean 该参数设置为“true”时，上传到OBS的对象使用的对象名，为去掉query参数后的字符。 该参数设置为“false”时，上传到OBS的对象使用的对象名，包含query参数。
准备工作 查询打通网络过程中所涉及到对象的网段（包含数据源、中转VPC、资源组），为便于理解，本章节将举例为您进行介绍。 表1 资源网段规划 资源名称 说明 私网网段示例 数据源网段 华为云数据源所属的VPC，各数据源VPC查看方式不同，具体方法请参考数据源官方文档。
EL表达式参考 表达式概述 基础操作符 日期和时间模式 Env内嵌对象 Job内嵌对象 StringUtil内嵌对象 DateUtil内嵌对象 JSONUtil内嵌对象 Loop内嵌对象 OBSUtil内嵌对象 常用EL表达式样例合集 EL表达式使用实例 父主题： 数据开发
注意文件名格式要符合obs文件路径命名规范。 父主题： 目的端作业参数说明
数据目录支持采集哪些对象的资产？ 什么是数据血缘关系？ 数据目录如何可视化展示数据血缘？
JSON文件中存储的JSON对象的类型，可以选择“JSON对象”或“JSON数组”。 JSON对象 记录节点 当“文件格式”选择为“JSON格式”并且“JSON类型”为“JSON对象”时，才有该参数。
源端作业参数说明 源端为关系数据库 源端为对象存储 源端为HDFS 源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch
1 父主题： 配置作业目的端参数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
