检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CREATE DATABASE demo_sdi_db; --创建DWI多源整合层数据库 CREATE DATABASE demo_dwi_db; --创建DWR明细数据层数据库 CREATE DATABASE demo_dwr_db; --创建DM数据集市层数据库 CREATE DATABASE
的方法，进行分层建模。 逻辑模型：用于创建逻辑模型以及逻辑模型的修改和删除，转化为物理模型。同时，可以对逻辑实体进行创建及发布，进行逆向数据库等操作。 关系建模：基于关系建模，新建SDI层和DWI层两个模型。 SDI：Source Data Integration，又称贴源数据层。SDI是源系统数据的简单落地。
对应的目的端数据源 相关文档 关系型数据 MySQL Hadoop：MRS Hudi MySQL同步到MRS Hudi作业配置 消息系统：DMS Kafka MySQL同步到DMS Kafka作业配置 数据仓库：DWS MySQL同步到DWS作业配置 SQLServer Hadoop：MRS Hudi（公测中）
资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用，您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 car_detail 分区 用于抽取分区的信息。 ['year=2020'] ['year=2020
dds_link 服务器列表 服务器地址列表，输入格式为“数据库服务器域名或IP地址：端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称 要连接的DDS数据库名称。 DB_dds 用户名 连接DDS的用户名。 cdm
数据源与目的数据源之间的网络带宽 100MB - 数据源和集成工具之间的网络连通性描述 本示例不涉及 - 数据库类迁移，调研表的个数，最大表的规模 本示例不涉及，本示例需要从OBS文件迁移到数据库 了解数据库迁移的作业规模，了解最大表的迁移时间是否可接受 文件类迁移，文件的个数，有没有单文件超过TB级文件
SQL节点属性说明 参数名 是否必选 参数类型 说明 scriptName 是 String 脚本名称 database 否 String 数据库名称 MRS Hive中的数据库，默认default。 connectionName 否 String 连接名称 scriptArgs 否
useCursorFetch=false：CDM作业默认打开了JDBC连接器与关系型数据库通信使用二进制协议开关，即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错，可以关闭此开关；开源MySQL数据库支持useCursorFetch参数，无需对此参数进行设置。 Hive
云搜索服务（CSS）连接参数说明 华为云的云搜索服务（CSS）是一个基于Elasticsearch且完全托管的在线分布式搜索服务，CSS连接适用于将各类日志文件、数据库记录迁移到CSS，Elasticsearch引擎进行搜索和分析的场景。 导入数据到CSS推荐使用Logstash，请参见使用Logstas
数据源安全组放通哪些端口可满足Migration访问？ Hudi 如何配置Hudi Compaction的Spark周期任务？ DWS MySQL到DWS实时同步中，同步新增列的DDL时报错怎么办？ MySQL到DWS实时同步中，DWS为什么需要对主键null值进行过滤？ Kafka Kafka到DLI实时同步中，作业运行失败，报“Array
数据源安全组放通哪些端口可满足Migration访问？ 如何配置Hudi Compaction的Spark周期任务？ MySQL到DWS实时同步中，同步新增列的DDL时报错怎么办？ MySQL到DWS实时同步中，DWS为什么需要对主键null值进行过滤？ Kafka到DLI实时同步中，作业运行失败，报“Array
名称：用户自定义连接名称，例如“oracle_link”。 数据库服务器地址、端口：配置为Oracle服务器的地址、端口。 数据库名称：选择要导出数据的Oracle数据库名称。 用户名、密码：Oracle数据库的登录用户名和密码，该用户需要拥有Oracle元数据的读取权限。 单击“保存”回到连接管理界面。
服务器列表 MongoDB服务器地址列表，输入格式为“数据库服务器域名或IP地址：端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称 要连接的MongoDB数据库名称。 DB_mongodb 用户名 连接MongoDB的用户名。
任务模式。 单任务：单任务作业可以认为是有且只有一个节点的批处理作业，整个作业即为一个脚本节点。当前支持DLI SQL、DWS SQL、RDS SQL、MRS Hive SQL、MRS Spark SQL、DLI Spark、Flink SQL和Flink JAR类型的单任务作业
型，并通过用户名、集群名称、数据库或表名检索。 权限申请和审批流程详见申请与审批权限。 图2 表-用户 “表-角色”页签：默认展示当前实例下，在角色（包含空间权限集、权限集和角色）中所授予的表权限。支持筛选不同的数据源类型，并通过角色、集群名称、数据库或表名检索。 通过空间权限集
用户密码。 数据库连接类型 是 选择所需的连接方式。 SID： SID即Oracle数据库实例ID。一个实例只能对应一个数据库，但是一个数据库可以由多个实例对应。 Service Name： Service Name参数是由oracle8i开始引进的，即Oracle数据库对外服务名，标识整个数据库。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
L、ImpalaSQL、HetuEngineSQL、RDSSQL其中之一时，才支持此参数。 type为DLISQL时，可以通过查看所有数据库接口获取数据库信息。 type为其他类型的时候，需要通过JDBC方式连上集群，查询数据库信息。默认值为空。 queueName 否 String
流量控制 调用API 审核中心 数据安全 访问权限管理2.0 敏感数据识别 隐私保护管理 常见问题 了解更多常见问题、案例和解决方案 热门案例 数据库、数据仓库、数据湖与华为智能数据湖方案 CDM与其他数据迁移服务有什么区别，如何选择？ DataArts Studio是否支持私有化部署到本地或私有云？
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
