检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio与MRS Hive数据湖的连接 新建DataArts Studio与DWS数据湖的连接 新建DataArts Studio与MySQL数据库的连接 父主题： 管理中心
开发一个DWS SQL作业 介绍如何在数据开发模块上通过DWS SQL节点进行作业开发。 场景说明 本教程通过开发一个DWS作业来统计某门店的前一天销售额。 环境准备 已开通DWS服务，并创建DWS集群，为DWS SQL提供运行环境。 已开通CDM增量包，并创建CDM集群。 CD
明文档进行配置。 常见配置举例如下： socketTimeout：配置JDBC连接超时时间，单位为毫秒。 mysql.bool.type.transform：配置mysql读取时，是否将tinyint(1)解析成boolean类型，默认为true。 socketTimeout=300
子作业参数：子作业参数是子作业中定义的参数，可以将主作业前一个节点的输出，传递到子作业以供使用。此处变量名为result，其值为数据集中的某一列，使用EL表达式#{Loop.dataArray[0][0]}或#{Loop.current[]}，本例以{Loop.dataArray[0][0]}为例进行说明。
流程设计 流程架构基于价值流产生，属于业务架构的流程处理模块，指导并规范需求的管理，确保业务需求受理、分析、交付等过程的高效运作；并聚焦高价值需求，实现业务价值最大化，支撑业务运作及目标的达成。 新建流程 根据业务需求设计流程，流程支持三层至七层，如需要修改，请参考流程层级数。 在DataArts
如下： 数据库： 关系型数据库包括：云数据库RDS、云数据库 GaussDB(for MySQL)、云数据库 GaussDB、云数据库 PostgreSQL、云数据库 SQL Server等。 非关系型数据库包括：文档数据库服务DDS、云数据库 GeminiDB（兼容Influx
主题设计 主题设计是通过分层架构表达对数据的分类和定义，帮助厘清数据资产，明确业务领域和业务对象的关联关系。 您可以通过以下两种方式进行主题设计： 新建主题并发布 手动新建并发布主题。 导入主题设计信息 如果主题信息比较复杂，建议采用导入方式批量导入主题信息。 您可以下载系统提供
关系数据库增量迁移 CDM支持对关系型数据库进行增量迁移，全量迁移完成之后，可以增量迁移指定时间段内的数据（例如每天晚上0点导出前一天新增的数据）。 增量迁移指定时间段内的数据 适用场景：源端为关系型数据库，目的端没有要求。 关键配置：Where子句+定时执行作业。 前提条件：数据表中有时间日期字段或时间戳字段。
开发一个Hive SQL作业 本章节介绍如何在数据开发模块上进行Hive SQL开发。 场景说明 数据开发模块作为一站式大数据开发平台，支持多种大数据工具的开发。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能；可
HANA连接参数说明。 达梦数据库 DM 连接达梦数据库时，具体参数请参见达梦数据库 DM连接参数说明。 MySQL 连接MySQL数据库时，具体参数请参见云数据库MySQL/MySQL数据库连接参数说明。 Oracle 连接Oracle数据库时，具体参数请参见Oracle数据库连接参数说明。
掩码显示 在参数值为密钥等情况下，从安全角度，请单击将参数值掩码显示。 删除 在参数值文本框后方，单击，删除作业参数。 常量 新增 单击“新增”，在文本框中填写作业常量的名称和参数值。 参数名称 名称只能包含字符：英文字母、数字、中划线和下划线。 参数值 字符串类的参数直接填写字符串，例如：str1
数说明中的用户授权指导。 前提条件 元数据采集支持丰富的数据源类型，对于DWS、DLI、MRS HBase、MRS Hive、RDS（MySQL）、RDS（PostgreSQL）和ORACLE类型的数据源，首先需要在管理中心创建数据连接。如需采集其他数据源（如OBS、CSS、GE
题导致迁移时间转换出错，可以关闭此开关；开源MySQL数据库支持useCursorFetch参数，无需对此参数进行设置。 allowPublicKeyRetrieval=true：MySQL默认关闭允许公钥检索机制，因此连接MySQL数据源时，如果TLS不可用、使用RSA公钥加密
配置作业源端参数 配置MySql源端参数 配置Hive源端参数 配置HDFS源端参数 配置Hudi源端参数 配置PostgreSQL源端参数 配置SQLServer源端参数 配置Oracle源端参数 配置DLI源端参数 配置OBS源端参数 配置SAP HANA源端参数 配置Kafka源端参数
配置CDM作业目的端参数 配置OBS目的端参数 配置HDFS目的端参数 配置HBase/CloudTable目的端参数 配置Hive目的端参数 配置MySQL/SQL Server/PostgreSQL目的端参数 配置Oracle目的端参数 配置DWS目的端参数 配置DDS目的端参数 配置Redis目的端参数
B数据源。 数据连接 来源对象/目的对象支持的数据源类型：DWS、MRS Hive、MRS Spark、DLI、ORACLE、RDS（MySQL、PostgreSQL）、Hetu、MRS Spark（Hudi）、MRS ClickHouse、DORIS。 从下拉列表中选择已创建的数据连接。
实时资源管理”检查资源组是否运行。 RDS(MySQL) 请检查“管理中心 > 数据连接”，MySQL数据连接是否配置正确，“IP或域名”是否填写RDS内网IP，绑定Agent是否状态正常。 请检查“DataArts控制台实例 > 资源管理 > 实时网络连接管理”， 查看是否创建了MySQL所在VPC和子网
配置作业目的端参数 配置PostgreSQL目的端参数 配置Oracle目的端参数 配置MySQL目的端参数 配置SQLServer目的端参数 配置Hudi目的端参数 配置Hive目的端参数 配置DLI目的端参数 配置ElasticSearch目的端参数 配置DWS目的端参数 配置OBS目的端参数
当前支持的源端数据为DLI类型、OBS类型和MySQL类型。 当源端数据为DLI类型时，支持的目的端数据类型为CloudTable（仅华北-北京一支持）、DWS、GES、CSS、OBS、DLI。 当源端数据为MySQL类型时，支持的目的端数据类型为MySQL。 当源端数据为OBS类型时，支持的目的端数据类型为DLI、DWS。
String 参数值，长度不能超过1024个字符。 paramType 否 String 参数类型。 variable：变量 constants：常量 响应参数 无 请求示例 启动作业myJob。 POST /v1/b384b9e9ab9b4ee8994c8633aabc9505/jobs/myJob/start
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
