检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive等多种数据仓库。 支持可视化和DDL方式管理数据库表。 脚本开发 提供在线脚本编辑器，支持多人协作进行SQL、Shell、Python脚本在线代码开发和调测。 支持使用变量。 作业开发 提供图形化设计器，支持拖拽式工作流开发，快速构建数据处理业务流水线。 预设数据集成、SQL、Spark、S
业ForeachDemo_master。选择DLI SQL节点和For Each节点，选中连线图标并拖动，编排图5所示的作业。 图5 编排作业 配置DLI SQL节点属性，此处配置为SQL语句，语句内容如下所示。DLI SQL节点负责读取DLI表Table_List中的内容作为数据集。
单击“默认项设置”，可设置“Hive sql及Spark sql执行方式”配置项。 配置Hive SQL及Spark SQL的执行方式。 SQL语句放置在OBS中：执行Hive SQL及Spark SQL语句时，把SQL语句放在OBS中，将OBS路径返回给MRS。 SQL语句放置在请求的消息体中：执行Hive
然后进入到作业开发页面，拖动DLI SQL和CDM Job节点到画布中，连接并配置节点的属性。 图11 连接和配置节点属性 关键说明： dli_partition_count（DLI SQL节点）：在节点属性中，关联使用DLI SQL脚本开发构建告警报表脚本中开发完成的DLI SQL脚本“dli_partition_count”。
取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如
网络打通 数据源和资源组网络不通如何排查？ 网络打通 数据源安全组放通哪些端口可满足Migration访问？ Hudi 如何配置Hudi Compaction的Spark周期任务？ DWS MySQL到DWS实时同步中，同步新增列的DDL时报错怎么办？ MySQL到DWS实时同步
取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如
DRS任务切换到实时Migration作业配置 MySQL同步到MRS Hudi作业配置 MySQL同步到DWS作业配置 MySQL同步到Kafka作业配置 DMS Kafka同步到OBS作业配置 Apache Kafka同步到MRS Kafka作业配置 SQLServer同步到MRS Hudi作业配置
对象存储：对象存储服务（OBS） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server，MySQL，PostgreSQL，Microsoft SQL Server，Oracle NoSQL：MongoDB 搜索：Elasticsearch 公
使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务
配置方法请参考：配置作业参数 脚本参数 配置自定义字段的参数名称和参数值。 当前脚本 ${脚本参数} 配置方法请参考：脚本参数 SQL脚本的变量格式有${}和${dlf.}两种，支持用户根据实际情况进行配置。配置的变量格式会作用于SQL脚本、作业中SQL语句、单节点作业，环境变量。配置脚本变量格式的操作请参见脚本变量定义。
type 是 String 节点类型： HiveSQL： 执行Hive SQL脚本 SparkSQL： 执行Spark SQL脚本 DWSSQL：执行DWS SQL脚本 DLISQL：执行DLI SQL脚本 Shell：执行Shell SQL脚本 CDMJob：执行CDM作业 DIST
业ForeachDemo_master。选择DLI SQL节点和For Each节点，选中连线图标并拖动，编排图5所示的作业。 图5 编排作业 配置DLI SQL节点属性，此处配置为SQL语句，语句内容如下所示。DLI SQL节点负责读取DLI表Table_List中的内容作为数据集。
选择需要执行的Flink SQL脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本创建和开发Flink SQL脚本。 脚本参数 否 关联的Flink SQL脚本如果使用了参数，此处显示参数名称，请在参数名称后的输入框配置参数值。参数值支持使用EL表达式。 若关联的Flink SQL脚本，脚本参数发生变化，可单击刷新按钮同步。
取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如
Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 创建一个DWS SQL脚本，以通过DWS SQL语句来创建数据表。 图4 新建脚本 在新建脚本弹出的SQL编辑器中输入如下SQL语句，单击“运行”，从movies_item和ratings_item表中计算出最活跃的Top10电影，将结
优先级较高的作业的计算资源。DLI优先级功能包含DLI Flink Job、DLI SQL和DLI Spark三个作业算子。 只有运行在弹性资源池上的作业支持设置作业优先级。 弹性资源池上的SQL作业支持作业优先级。 Spark 2.4.5及以上版本的作业支持设置作业优先级。 Flink
取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如
取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如
取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
