检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
- 关系型数据库 RDS（MySQL）、RDS（PostgreSQL）、RDS（SQL Server）、Oracle、RDS（SAP HANA）、GBASE8A 说明： 创建数据连接时也支持用户使用自建的数据库，如MySQL、PostgreSQL、SQL Server、达梦数据库DM、SAP
中划线、下划线和点号，且长度小于等于128个字符。同一个作业中节点名称不能重复。 type 是 String 节点类型： HiveSQL： 执行Hive SQL脚本 SparkSQL： 执行Spark SQL脚本 DWSSQL：执行DWS SQL脚本 DLISQL：执行DLI SQL脚本
HTTP 支持按文件分片。 关系型数据库 云数据库 MySQL 支持按表字段分片。 仅当配置“按表分区抽取”时，按表分区分片。 云数据库 PostgreSQL 支持按表字段分片。 仅当配置“按表分区抽取”时，按表分区分片。 云数据库 SQL Server 支持按表字段分片。 仅当配置“按表分区抽取”时，按表分区分片。
是否必选 类型 说明 fromJobConfig.useSql 是 Boolean 导出关系型数据库的数据时，可以选择是否使用自定义SQL语句导出。 fromJobConfig.sql 否 String 可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 fromJobConfig
Presto SQL、MRS Spark、MRS Spark Python、MRS Flink Job、 MRS MapReduce），通过直连方式的（MRS Spark SQL、MRS Hive SQL）节点，以及目标端为DWS的ETL Job节点，解决部分MRS集群和部分ETL
content：脚本的内容。 connectionName：脚本关联的连接名称。 创建DLI SQL脚本 您还可以创建DLI SQL脚本，示例如下。 { "name":"dlisql1", "type":"DLISQL", "content":"show tables", "connectionName":"dliCon1"
配置连接参数 OBS连接参数说明 PostgreSQL/SQLServer连接参数说明 数据仓库服务（DWS）连接参数说明 云数据库MySQL/MySQL数据库连接参数说明 Oracle数据库连接参数说明 DLI连接参数说明 Hive连接参数说明 HBase连接参数说明 HDFS连接参数说明
数据开发创建数据连接，为什么选不到指定的周边资源？ 配置了SMN通知，却收不到作业失败告警通知？ 作业配置了周期调度，但是实例监控没有作业运行调度记录？ Hive SQL和Spark SQL脚本执行失败，界面只显示执行失败，没有显示具体的错误原因？ 数据开发节点运行中报TOKEN不合法？ 作业开发时，测试运行后如何查看运行日志？
配置DLI源端参数 配置FTP/SFTP源端参数 配置HTTP源端参数 配置PostgreSQL/SQL Server源端参数 配置DWS源端参数 配置SAP HANA源端参数 配置MySQL源端参数 配置Oracle源端参数 配置分库源端参数 配置MongoDB/DDS源端参数 配置Redis源端参数
字段类型映射关系 MySQL与MRS Hudi字段类型映射 PostgreSQL与DWS字段类型映射 父主题： 数据集成（实时作业）
中划线、下划线和点号，且长度小于等于128个字符。同一个作业中节点名称不能重复。 type 是 String 节点类型： HiveSQL： 执行Hive SQL脚本 SparkSQL： 执行Spark SQL脚本 DWSSQL：执行DWS SQL脚本 DLISQL：执行DLI SQL脚本
<= 60 高级属性 导入前准备语句 执行任务之前率先执行的SQL语句。目前向导模式仅允许执行一条SQL语句。 create temp table 导入后完成语句 执行任务之后执行的SQL语句，目前仅允许执行一条SQL语句。 merge into loader线程数 每个load
当前支持DLI SQL、DWS SQL、RDS SQL、MRS Hive SQL、MRS Spark SQL、DLI Spark、Flink SQL和Flink JAR类型的单任务作业，相比于先新建脚本再在作业中以节点引用脚本的开发方式，单任务作业可以直接在SQL编辑器中调测脚本并进行调度配置。
38位时，Hive按38位创建，s小于0时，按0创建，受Hive数据类型限制，此场景可能会导致数据写入后精度丢失。 表1 MySQL->Hive自动建表时的字段映射 数据类型（MySQL） 数据类型（Hive） 说明 数值类型 tinyint(1)，bit(1) BOOLEAN - TINYINT
[-1], see the CDM logs. CDM上的代理拒绝服务。 SQL执行时间过长 CDM资源不足了 确认SQL执行时长，如果时间过长，建议优化SQL（默认分页的话则建议使用自定义分页）。 如果SQL执行时间较短，当前没有其他服务正在作业的话，重启CDM。 DAYU.1088
单任务作业支持SQL编辑器风格配置。单击“风格配置”，可以对编辑器、操作栏、注释模板进行配置、以及查询SQL脚本编辑器可使用的快捷键。 单任务SQL查询结果展示支持表格和列表两种展示方式。单击“风格配置”，在“编辑器配置”里面可以对SQL查询结果展示进行配置。 支持通过“责任人”和“更新
支持快速导入数据到MRS的Hive。 参见配置Hive目的端参数。 MySQL SQL Server PostgreSQL 支持导入数据到云端的数据库服务。 使用JDBC接口导入数据，参见配置MySQL/SQL Server/PostgreSQL目的端参数。 DWS 支持导入数据到数据仓库 DWS。
项目ID，获取方法请参见项目ID和账号ID。 id 是 String 质量作业ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String DataArts Studio工作空间ID，获取方法请参见实例ID和工作空间ID。 X-Auth-Token
Hive的原始表中。其中CDM集群名称和作业名称分别选择在步骤3：数据集成中的集群和迁移作业（图中仅为示例，以实际集群名和迁移作业名为准）。 图8 source_sdi节点属性 demo_etl_sdi_dwi节点：为MRS Hive SQL节点，用于清洗过滤SDI贴源层上原始表
配置OBS目的端参数 配置HDFS目的端参数 配置HBase/CloudTable目的端参数 配置Hive目的端参数 配置MySQL/SQL Server/PostgreSQL目的端参数 配置Oracle目的端参数 配置DWS目的端参数 配置DDS目的端参数 配置Redis目的端参数 配置E
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
