-
pyspark样例代码 - 数据湖探索 DLI
StringType(), False), StructField("age", IntegerType(), False)]) dataFrame = sparkSession.createDataFrame(dataList, schema) 导入数据到
-
创建并提交Spark SQL作业 - 数据湖探索 DLI
开发指导 Spark SQL语法参考 提供Spark SQL数据库、表、分区、导入及导出数据、自定义函数、内置函数等语法说明和样例指导。 使用Spark作业访问DLI元数据 提供Spark SQL作业开发的操作指引和样例代码参考。
-
pyspark样例代码 - 数据湖探索 DLI
sparkSession.createDataFrame([(3,"Jack", 23)]) dataFrame = jdbcDF.withColumnRenamed("_1", "id").withColumnRenamed("_2", "name").withColumnRenamed("_3", "age") 导入数据到
-
创建表(废弃) - 数据湖探索 DLI
", "escape_char": "\\", "date_format": "yyyy-MM-dd", "timestamp_format": "yyyy-MM-dd HH:mm:ss" } “date_format”和“timestamp_format”的格式需与导入的
-
使用Flink Jar连接开启SASL - 数据湖探索 DLI
选择2和4导入的jks和properties文件。 Flink版本:1.10 图7 创建Flink Jar作业 结果校验。 作业处于运行中状态时,向kafka source.topic发送数据,验证kafka sink.topic能否收到数据。
-
scala样例代码 - 数据湖探索 DLI
构造依赖信息,创建SparkSession 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId>
-
java样例代码 - 数据湖探索 DLI
代码实现 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version>2.3.2<
-
查询所有作业 - 数据湖探索 DLI
with_column_header 否 Boolean Import类型的作业,记录其导入的数据是否包括列名。 detail 是 String SQL查询的相关列信息的Json字符串。 statement 是 String 作业执行的SQL语句。
-
使用DataSource语法创建OBS表 - 数据湖探索 DLI
2024年1月后新注册使用DLI服务的用户,且使用Spark3.3及以上版本的引擎,在使用DataSource语法创建表时支持使用CTAS创建分区表。
-
使用DataSource语法创建OBS表 - 数据湖探索 DLI
2024年1月后新注册使用DLI服务的用户,且使用Spark3.3及以上版本的引擎,在使用DataSource语法创建表时支持使用CTAS创建分区表。
-
Hbase源表 - 数据湖探索 DLI
java.lang.IllegalArgumentException: offset (0) + length (8) exceed the capacity of the array: 6 A:如果HBase表中的数据是以其他方式导入的话,那么其存储是以String格式存储的,所以使用其他的数据格式将会报该错误
-
Hbase源表 - 数据湖探索 DLI
java.lang.IllegalArgumentException: offset (0) + length (8) exceed the capacity of the array: 6 A:如果HBase表中的数据是以其他方式导入的话,那么其存储是以String格式存储的,所以使用其他的数据格式将会报该错误
-
更新委托权限 - 数据湖探索 DLI
DLI Flink作业访问和使用OBS、日志转储(包括桶授权)、开启checkpoint、作业导入导出等,需要获得访问和使用OBS(对象存储服务)的Tenant Administrator权限。
-
Hbase源表 - 数据湖探索 DLI
java.lang.IllegalArgumentException: offset (0) + length (8) exceed the capacity of the array: 6 A:如果HBase表中的数据是以其他方式导入的话,那么其存储是以String格式存储的,所以使用其他的数据格式将会报该错误
-
使用Spark作业访问DLI元数据 - 数据湖探索 DLI
完整的样例请参考Java样例代码,样例代码分段说明如下: 导入依赖的包。 import org.apache.spark.sql.SparkSession; 创建SparkSession会话。