检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hadoop、Hive、Hudi、Mysql-cdc相关依赖,作用域请使用provided,即在依赖中添加<scope>provided</scope>。
DDL DCL IMPORT EXPORT QUERY INSERT job_mode 否 String 作业执行模式: async:异步 sync:同步 请求示例 无 响应示例 同步方式请求成功响应样例: { "is_success": true, "message": ""
Flink 1.12新增支持DataGen源表、DWS源表、JDBC源表、MySQL CDC源表、Postgres CDC源表、Redis源表、Upsert Kafka源表、Hbase源表 更多升级Flink 1.12版本的优势请参考Flink 1.12升级指导。
endcoding 否 STRING类型。 指定编码格式,支持GBK或UTF-8等标准编码格式,不输入默认为UTF-8。 返回值说明 返回STRING类型的值。 STRING类型UTF-8编码的字符串。
支持多种数据源:支持DLI与多种数据源的网络连通,例如DWS,RDS,CSS,DCS等数据源。 父主题: 增强型跨源连接类
跨源作业可将数据存储在对应的服务中,目前支持CloudTable,CSS,DCS,DDS,DWS,MRS,RDS等。 DLI表与OBS表有什么区别? DLI表表示数据存储在本服务内部,用户不感知数据存储路径。
用户可以直接使用SQL从这些服务中读写数据,如DIS、OBS、CloudTable、MRS、RDS、SMN、DCS等。
logging.INFO) #import local file test_file_name = "D://test-data_1.txt" out_file_name = "D://test-data_result_1" sc = SparkContext("local","wordcount
包含DDL、DCL、IMPORT、EXPORT、QUERY、INSERT、DATA_MIGRATION、UPDATE、DELETE、RESTART_QUEUE、SCALE_QUEUE。
包含DDL、DCL、IMPORT、EXPORT、QUERY、INSERT。 请求示例 检查SQL语句“select * from t1”的语法。
Password类型的跨源认证:适用于DWS、RDS、DDS、DCS数据源。 跨源认证类型 DLI支持四种类型的跨源认证,不同的数据源按需选择相应的认证类型。 CSS类型跨源认证:适用于“6.5.4”及以上版本的CSS集群且集群已开启安全模式。
spark.launcher.childConectionTimeout修改 说明: Spark2.4.x:配置名为spark.launcher.childConectionTimeout Spark3.3.x:配置名修改为spark.launcher.childConnectionTimeout
LogFileSizeBasedCompactionStrategy hoodie.compaction.target.io LogFileSizeBasedCompactionStrategy的压缩运行期间要花费的MB量。当压缩以内联模式运行时,此值有助于限制摄取延迟。
DCL:包括传统DCL,以及队列权限相关的操作。 DDL:与传统DDL操作一致,即创建和删除数据库,创建和删除表的作业。 QUERY:执行SQL查询数据的作业。 INSERT:执行SQL插入数据的作业。 UPDATE:更新数据。 DELETE:删除SQL作业。
job_type 否 String 作业类型,包含DDL、DCL、IMPORT、EXPORT、QUERY、INSERT。 目前仅支持查看“QUERY”类型作业的执行结果。 row_count 否 Integer 作业结果总条数。
请求示例 无 响应示例 { "is_success": true, "message": "", "job_id": "85798b38-ae44-48eb-bb90-7cf0dcdafe7b", "status": "RUNNING", "
() int executeUpdate() PreparedStatement Set系列方法 ResultSet API支持的常用方法签名: int getRow() boolean isClosed() boolean next() void close() int findColumn
job_type 否 String 作业类型,包含DDL、DCL、IMPORT、EXPORT、QUERY、INSERT、DATA_MIGRATION、UPDATE、DELETE、RESTART_QUEUE、SCALE_QUEUE。
job_type 否 String 作业类型,包含DDL、DCL、IMPORT、EXPORT、QUERY、INSERT、DATA_MIGRATION、UPDATE、DELETE、RESTART_QUEUE、SCALE_QUEUE。
语法格式 create table jbdcSource ( attr_name attr_type (',' attr_name attr_type)* (','PRIMARY KEY (attr_name, ...)