检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置作业源端参数 配置MySQL源端参数 配置Hive源端参数 配置HDFS源端参数 配置Hudi源端参数 配置PostgreSQL源端参数 配置SQLServer源端参数 配置Oracle源端参数 配置DLI源端参数 配置OBS源端参数 配置SAP HANA源端参数 配置Kafka源端参数
Load节点第一个Insert SQL语句的作业ID,不指定参数nodeName时,获取前面一个节点第一个DLI Insert SQL语句的作业ID,如果无法获取到作业ID,返回null值。 获取DLI SQL节点test中第一个Insert SQL语句的job ID: #{Job
配置作业目的端参数 配置PostgreSQL目的端参数 配置Oracle目的端参数 配置MySQL目的端参数 配置SQLServer目的端参数 配置Hudi目的端参数 配置Hive目的端参数 配置DLI目的端参数 配置ElasticSearch目的端参数 配置DWS目的端参数 配置OBS目的端参数
异常表SQL 当“规则类型”选择“自定义规则”时,需要配置该参数。此处需输入完整的SQL语句,指定输出哪些数据是异常数据。系统支持对异常表SQL进行语义校验。 查看SQL 单击后可以查看异常表SQL语句。在查看异常表的SQL时,支持查看所创建的SQL和插入的SQL。 查看相同规则
已经删除的数据。 否 导入前准备语句 执行任务之前率先执行的SQL语句。目前向导模式仅允许执行一条SQL语句。 create temp table 导入后完成语句 执行任务之后执行的SQL语句,目前仅允许执行一条SQL语句。 merge into loader线程数 每个load
boolean 是否导出作业依赖的脚本和资源。 默认值:true 响应参数 批量导出作业响应消息和导出作业响应消息一致,请参考 响应参数。 请求示例 导出两个作业,作业名称分别为job_batch和job_stream。是否导出作业依赖的脚本和资源默认为true。 POST /v1
已经删除的数据。 否 导入前准备语句 执行任务之前率先执行的SQL语句。目前向导模式仅允许执行一条SQL语句。 create temp table 导入后完成语句 执行任务之后执行的SQL语句,目前仅允许执行一条SQL语句。 merge into 父主题: 配置作业目的端参数
目的端数据库类型 目的端参数 参数说明 取值样例 云数据库MySQL 云数据库PostgreSQL 云数据库SQL Server - 整库迁移到RDS关系数据库时,目的端作业参数请参见配置MySQL/SQL Server/PostgreSQL目的端参数。 schema DWS - 整库迁移到
运行端口映射工具,选择“端口映射”,如图2所示。 本地地址、本地端口:配置为网关机的公网地址和端口(后续在CDM上创建MySQL连接时输入这个地址和端口)。 映射地址、映射端口:配置为内网MySQL的地址和端口。 图2 配置端口映射 单击“增加”,添加端口映射关系。 单击“开始映射”,这时才会真正开始映射,接收数据包。
导致迁移时间转换出错,可以关闭此开关;开源MySQL数据库支持useCursorFetch参数,无需对此参数进行设置。 allowPublicKeyRetrieval=true:MySQL默认关闭允许公钥检索机制,因此连接MySQL数据源时,如果TLS不可用、使用RSA公钥加密时
务。 目前支持的数据库链路有: 自建/他云MySQL->RDS for MySQL 自建/他云PostgreSQL->RDS for PostgreSQL 自建/他云MongoDB->DDS Oracle->RDS for MySQL ...... DRS与CDM的区别: DRS
已经删除的数据。 否 导入前准备语句 执行任务之前率先执行的SQL语句。目前向导模式仅允许执行一条SQL语句。 create temp table 导入后完成语句 执行任务之后执行的SQL语句,目前仅允许执行一条SQL语句。 merge into loader线程数 每个load
Agent功能待下线,无需配置。 - Oracle版本 创建Oracle连接时才有该参数,根据您Oracle数据库的版本来选择。当出现“java.sql.SQLException: Protocol violation异常”时,可以尝试更换版本号。 高于12.1 引用符号 可选参数,连接引用表
配置ClickHouse源端参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 “使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。 单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或
当前支持的源端数据为DLI类型、OBS类型和MySQL类型。 当源端数据为DLI类型时,支持的目的端数据类型为CloudTable(仅华北-北京一支持)、DWS、GES、CSS、OBS、DLI。 当源端数据为MySQL类型时,支持的目的端数据类型为MySQL。 当源端数据为OBS类型时,支持的目的端数据类型为DLI、DWS。
作业开发 作业开发流程 新建作业 开发Pipeline作业 开发批处理单任务SQL作业 开发实时处理单任务MRS Flink SQL作业 开发实时处理单任务MRS Flink Jar作业 开发实时处理单任务DLI Spark作业 调度作业 提交版本 发布作业任务 (可选)管理作业
项目编号,获取方法请参见项目ID和账号ID。 type 否 String 查询任务的类型,默认为all,查询所有任务。类型如下:Dummy、CDM Job、MRS Hive SQL、MRS Spark SQL、DLI SQL、DLI Spark、Python、DWS SQL、Shell等作业算子。
目录层级最多为10层。 单工作空间允许创建的实时作业(包含实时处理作业和实时集成作业)最多500个。 RDS SQL、DWS SQL、HIVE SQL、SPARK SQL、DLI SQL脚本执行结果页面展示最多1千条,且数据量少于3MB。超过1千条数据可以使用转储功能,转储最多支持1万条或3MB。
这里以创建MySQL连接为例。 每种数据源的连接参数不同,您可以根据所选择的连接器类型在表1中查找对应参数。 表1 连接参数分类 连接器类型 参数说明 云数据库 PostgreSQL 云数据库 SQL Server PostgreSQL Microsoft SQL Server
此处输入评分公式后,可以参与质量评分,在质量报告中显示评分和规则。 示例:${1}/${2},其中${1}和${2}分别表示第1列输出结果和第2列输出结果;公式的返回值范围是[0-1]。 异常表模板:此处需输入完整的SQL语句,指定输出哪些数据是异常数据。其中,${Schema_