检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
变化禁用该功能。 SQL脚本 是 选择需要执行的脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本先创建和开发脚本。 脚本参数 否 关联的SQL脚本如果使用了参数，此处显示参数名称，请在参数名称后的输入框配置参数值。参数值支持使用EL表达式。 若关联的SQL脚本，脚本参数发生变化，可单击刷新按钮同步。
控。 数据权限模块包含数据目录权限、数据表权限和审批中心三大子模块。具备的功能如下所示： 权限自助申请：用户可以选择自己需要权限的数据表，在线上快速发起申请。 权限审计：管理员可以快速方便地查看数据库表权限对应人员，进行审计管理。 权限回收/交还：管理员可以通过用户权限管理及时回
参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如
务。 目前支持的数据库链路有： 自建/他云MySQL->RDS for MySQL 自建/他云PostgreSQL->RDS for PostgreSQL 自建/他云MongoDB->DDS Oracle->RDS for MySQL ...... DRS与CDM的区别： DRS
数据集成，在批量数据迁移集群列表可以获取到集群名称。 driverName 是 String 驱动程序名称： com.mysql.jdbc.Driver org.postgresql.Driver driverPath 是 String 驱动在OBS上路径。 表8 CloudTable类型的连接配置项说明
现数据错误的作业实例，或者构建更多的作业记录以便调试程序等。 补数据作业除了支持SQL脚本，其他节点也支持。 如果SQL脚本的内容有变化，补数据作业运行的是最新版本的脚本。 使用补数据功能时，如SQL中变量是DATE，脚本中就写${DATE}，在作业参数中会自动增加脚本参数DAT
云搜索服务（CSS）连接参数说明 华为云的云搜索服务（CSS）是一个基于Elasticsearch且完全托管的在线分布式搜索服务，CSS连接适用于将各类日志文件、数据库记录迁移到CSS，Elasticsearch引擎进行搜索和分析的场景。 导入数据到CSS推荐使用Logstash
MRS_SPARK：MRS_SPARK连接类型Hudi表的数据类型。 POSTGRESQL：POSTGRESQL连接类型的表的数据类型。 CLICKHOUSE：CLICKHOUSE连接类型的表的数据类型。 MYSQL：MYSQL连接类型的表的数据类型。 ORACLE：ORACLE连接类型的表的数据类型。
现数据错误的作业实例，或者构建更多的作业记录以便调试程序等。 补数据作业除了支持SQL脚本，其他节点也支持。 如果SQL脚本的内容有变化，补数据作业运行的是最新版本的脚本。 使用补数据功能时，如SQL中变量是DATE，脚本中就写${DATE}，在作业参数中会自动增加脚本参数DAT
云数据库 PostgreSQL PostgreSQL POSTGRESQL https://mvnrepository.com/artifact/org.postgresql/postgresql PostgreSQL推荐使用42.3.4版本，获取postgresql-42.3.4.jar
type 是 String 节点类型： HiveSQL： 执行Hive SQL脚本 SparkSQL： 执行Spark SQL脚本 DWSSQL：执行DWS SQL脚本 DLISQL：执行DLI SQL脚本 Shell ：执行Shell SQL脚本 CDMJob：执行CDM作业 DIS
度计划时间、作业执行时间等属性和方法。 工具类对象：提供了一系列字符串、时间、JSON操作方法，例如从一个字符串中截取一个子字符串、时间格式化等。 语法 表达式的语法： #{expr} 其中，“expr”指的是表达式。“#”和“{}”是数据开发模块EL中通用的操作符，这两个操作符
当有多处同时配置了资源队列时，此处配置的资源队列为最高优先级。 SQL脚本 是 仅“脚本类型”配置为“在线脚本”时可以配置。 选择已创建的Spark Python脚本。 脚本参数 否 仅“脚本类型”配置为“在线脚本”时可以配置。 关联的Spark Python脚本中如果使用了参
开发主作业 在“作业开发”页面，新建数据开发主作业testif。选择HIVE SQL节点和For Each节点，选中连线图标并拖动，编排图5所示的作业。 配置HIVE SQL节点属性。此处配置为引用SQL脚本，SQL脚本的语句如下所示。其他节点属性参数无特殊要求。 --从student_
Hive等多种数据仓库。 支持可视化和DDL方式管理数据库表。 数据管理 脚本开发 脚本开发功能提供如下能力： 提供在线脚本编辑器，支持多人协作进行SQL、Shell等脚本在线代码开发和调测。 支持使用变量和函数。 支持脚本的版本管理能力。 脚本开发 作业开发 作业开发功能提供如下能力：
Flink SQL作业 Flink 自定义作业 脚本路径 是 选择Flink SQL作业时，可配置此参数。 选择需要执行的Flink SQL脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本先创建和开发Flink SQL脚本。 脚本参数 否 选择Flink SQL作业时，可配置此参数。
对象存储：对象存储服务（OBS） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server，MySQL，PostgreSQL，Microsoft SQL Server，Oracle NoSQL：表格存储服务（CloudTable） 搜索：Elas
对象存储：对象存储服务（OBS） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server，MySQL，PostgreSQL，Microsoft SQL Server，Oracle NoSQL：表格存储服务（CloudTable） 搜索：Elas
1表示完整性，2表示唯一性，3表示及时性，4表示有效性，5表示准确性，6表示一致性。 description 否 String 描述。 sql_info 否 String 模板中的sql内容。 result_description 否 String 结果说明。 publish 否 Boolean 是否
1表示完整性，2表示唯一性，3表示及时性，4表示有效性，5表示准确性，6表示一致性。 description 否 String 描述。 sql_info 否 String 模板中的sql内容。 result_description 否 String 结果说明。 publish 否 Boolean 是否
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
