检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据连接类型，对应表所在的数仓类型，取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 dw_id 是 String 数据连接ID。 db_name 否 String 数据库名。 queue_name 否 String
由于企业模式下需要区分开发环境和生产环境，因此您需要分别准备对应生产环境和开发环境的两套数据湖服务，用于隔离开发和生产环境： 对于集群化的数据源（例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS），DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务，在开发
来源表在关系建模中的模型ID，ID字符串。 src_model_name 否 String 来源模型名称。 view_text 否 String 采集的视图来源，dws视图逆向使用。 target_table_name 否 String 目的表名称。 details 否 Array of TableMappingDetailVO
useCursorFetch=false：CDM作业默认打开了JDBC连接器与关系型数据库通信使用二进制协议开关，即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错，可以关闭此开关；开源MySQL数据库支持useCursorFetch参数，无需对此参数进行设置。 Hive
into/overwrite等DML操作产生的MRS表之间的血缘。 CDM Job 支持MRS Hive、DLI、DWS、RDS、OBS以及CSS之间表文件迁移所产生的血缘。 ETL Job 支持DLI、OBS、MySQL以及DWS之间的ETL任务产生的血缘。 手动配置血缘 在DataArts Studio数据
into/overwrite等DML操作产生的MRS表之间的血缘。 CDM Job 支持MRS Hive、DLI、DWS、RDS、OBS以及CSS之间表文件迁移所产生的血缘。 ETL Job 支持DLI、OBS、MySQL以及DWS之间的ETL任务产生的血缘。 手动配置血缘 在DataArts Studio数据
同Region不同租户通过企业路由器连通网络 在配置实时同步任务前，您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在华为云，且与Migration资源组同Region不同租户场景下，通过企业路由器打通网络的方案。
执行脚本 功能介绍 该接口用以执行指定脚本，支持执行DWS SQL、DLI SQL、RDS SQL、Hive SQL、Spark SQL、Presto SQL、Shell、ClickHouse SQL、HetuEngine SQL、Python、Spark Python和Impala
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
在作业的“操作”列，选择“更多 > 查看作业依赖关系图”。 在弹出的“作业依赖关系视图”页面，支持如下操作： 视图右上角支持“显示完整依赖图”、“显示当前作业及其上下游”和“显示当前作业及其直接上下游”。 视图右上角支持按节点名称进行搜索，搜索出来的作业节点高亮显示。 单击下载按钮，可以下载作业的依赖关系文件。
约束条件 已完成新建数据连接的操作。 已完成新建数据库的操作。 使用案例 创建SQL脚本 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 创建一个SQL脚本。本案例以MRS SPARK SQL为例。 选择已创建好的数据连接和数据库。 编写SQL脚本，从源表table1这张数据表里面获取最大时间值数据。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
"direction" : "IN", "type_name" : "dataasset.tables_database", "type_display_name" : "数据表:数据库", "project_id" : "0833a5737480d53b2f25c010dc1a7b88"
关系数据库增量迁移 CDM支持对关系型数据库进行增量迁移，全量迁移完成之后，可以增量迁移指定时间段内的数据（例如每天晚上0点导出前一天新增的数据）。 增量迁移指定时间段内的数据 适用场景：源端为关系型数据库，目的端没有要求。 关键配置：Where子句+定时执行作业。 前提条件：数据表中有时间日期字段或时间戳字段。
关系数据库增量迁移 CDM支持对关系型数据库进行增量迁移，全量迁移完成之后，可以增量迁移指定时间段内的数据（例如每天晚上0点导出前一天新增的数据）。 增量迁移指定时间段内的数据 适用场景：源端为关系型数据库，目的端没有要求。 关键配置：Where子句+定时执行作业。 前提条件：数据表中有时间日期字段或时间戳字段。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 说明： CONNECT权限的用户(只读用户)创建连接时会出现“表或视图不存在”的提示，需要执行如下操作进行授权： 以root用户登录oracle节点。 执行如下命令，切换到oracle用户。 su oracle
通信使用二进制协议开关，即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错，可以关闭此开关；开源MySQL数据库支持useCursorFetch参数，无需对此参数进行设置。 sslmode=require 引用符号 可选参数，连接引用表名或列
级访问控制策略。 不支持对视图定义行级访问控制策略。 同一张表上可以创建多个行级访问控制策略，一张表最多创建100个行访级问控制策略。 具有DWS管理员权限的用户和初始运维用户(Ruby)不受行访问控制影响，可以查看表的全量数据。 通过SQL语句、视图、函数、存储过程查询包含行级访问控制策略的表，都会受影响。
MRS Hive SQL 功能 通过MRS Hive SQL节点执行数据开发模块中预先定义的Hive SQL脚本。 MRS Hive SQL节点的具体使用教程，请参见开发一个Hive SQL作业。 MRS Hive SQL节点不支持Hive的事务表。 参数 用户可参考表1，表2和表3配置MRS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
