-
创建Kerberos跨源认证 - 数据湖探索 DLI
afka_SSL类型的认证。建表时通过ssl_auth_name关联跨源认证。 MRS Kafka未开启Kerberos认证,开启了SASL认证和SSL认证时,创建Kafka_SSL类型的认证。建表时通过ssl_auth_name关联跨源认证。 Kerberos类型跨源认证支持连接的数据源
-
API接口返回的中文字符为乱码,如何解决? - 数据湖探索 DLI
API接口返回的中文字符为乱码,如何解决? DLI接口返回的结果编码格式为“UTF-8”,在调用接口获取返回结果时需要对返回的信息编码转换为“UTF-8”。 例如,参考如下实现对返回的response.content内容做编码格式转换,确保返回的中文格式不会乱码。 print(response.content
-
Confluent Avro Format - 数据湖探索 DLI
级。 avro-confluent.ssl.keystore.location 否 无 String SSL keystore的位置/文件。 avro-confluent.ssl.keystore.password 否 无 String SSL keystore的密码。 avro-confluent
-
Kafka结果表 - 数据湖探索 DLI
度保持一致。 ssl_auth_name 否 无 String DLI侧创建的Kafka_SSL类型的跨源认证名称。Kafka配置SSL时使用该配置。 注意:若仅使用SSL类型,则需要同时配置'properties.security.protocol '= 'SSL'; 若使用S
-
to - 数据湖探索 DLI
e1函数用于将指定格式的字符串转换为日期值,支持指定转换的日期格式。 命令格式 to_date(string timestamp) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 timestamp 是 DATE STRING 代表待处理的时间。 格式: yyyy-mm-dd
-
to - 数据湖探索 DLI
e1函数用于将指定格式的字符串转换为日期值,支持指定转换的日期格式。 命令格式 to_date(string timestamp) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 timestamp 是 DATE STRING 代表待处理的时间。 格式: yyyy-mm-dd
-
Kafka结果表 - 数据湖探索 DLI
度保持一致。 ssl_auth_name 否 无 String DLI侧创建的Kafka_SSL类型的跨源认证名称。Kafka配置SSL时使用该配置。 注意:若仅使用SSL类型,则需要同时配置'properties.security.protocol '= 'SSL'; 若使用S
-
ordinal - 数据湖探索 DLI
DOUBLE或DECIMAL类型。 排在第nth位的值,当不存在隐式转换时返回值同输入参数数据类型。 当有类型转换时,DOUBLE、BIGINT、STRING之间的转换返回DOUBLE类型;STRING、DATETIME之间的转换返回DATETIME类型。不允许其他的隐式转换。 NULL为最小值。 示例代码 返回2。
-
ordinal - 数据湖探索 DLI
DOUBLE或DECIMAL类型。 排在第nth位的值,当不存在隐式转换时返回值同输入参数数据类型。 当有类型转换时,DOUBLE、BIGINT、STRING之间的转换返回DOUBLE类型;STRING、DATETIME之间的转换返回DATETIME类型。不允许其他的隐式转换。 NULL为最小值。 示例代码 返回2。
-
to - 数据湖探索 DLI
STRING 要转换的字符串。 格式: yyyy-mm-dd yyyy-mm-dd hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 format 是 STRING 代表需要转换的日期格式。 STRING类型常量,不支持日期扩展格式。 format:格式为代表年月日时分秒的时间单位与任意字符的组合,其中:
-
to - 数据湖探索 DLI
STRING 要转换的字符串。 格式: yyyy-mm-dd yyyy-mm-dd hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 format 是 STRING 代表需要转换的日期格式。 STRING类型常量,不支持日期扩展格式。 format:格式为代表年月日时分秒的时间单位与任意字符的组合,其中:
-
跨源认证概述 - 数据湖探索 DLI
keytab”文件。详细操作请参考创建Kerberos跨源认证。 Kafka_SSL类型的跨源认证:适用于开启SSL的Kafka,配置时需指定KafkaTruststore路径和密码。详细操作请参考创建Kafka_SSL类型跨源认证。 Password类型的跨源认证:适用于DWS、RDS、
-
pyspark样例代码 - 数据湖探索 DLI
option("es.net.ssl", "true") .option("es.net.ssl.keystore.location", "obs://桶名/path/transport-keystore.jks") .option("es.net.ssl.keystore.pass"
-
scala样例代码 - 数据湖探索 DLI
net.ssl'='true', 'es.net.ssl.keystore.location'='obs://桶名/path/transport-keystore.jks', 'es.net.ssl.keystore.pass'='***', 'es.net.ssl.truststore
-
Kafka源表 - 数据湖探索 DLI
的时间间隔。 ssl_auth_name 否 无 String DLI侧创建的Kafka_SSL类型的跨源认证名称。Kafka配置SSL时使用该配置。 注意:若仅使用SSL类型,则需要同时配置'properties.security.protocol '= 'SSL'; 若使用SASL_SSL类型,则需要同时配置
-
Kafka源表 - 数据湖探索 DLI
的时间间隔。 ssl_auth_name 否 无 String DLI侧创建的Kafka_SSL类型的跨源认证名称。Kafka配置SSL时使用该配置。 注意:若仅使用SSL类型,则需要同时配置'properties.security.protocol '= 'SSL'; 若使用SASL_SSL类型,则需要同时配置
-
conv - 数据湖探索 DLI
型。 需要进行转换进制的数。 参数num格式为浮点数格式、整数格式、字符串格式。 from_base 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 被转换的进制from_base。 参数from_base格式为浮点数格式、整数格式、字符串格式。 to_base
-
修订记录 - 数据湖探索 DLI
SQL作业中使用地理空间函数”。 2023-07-21 下线“使用ODBC提交Spark SQL作业”,您可以参考“ FineBI工具对接DLI Trino”、“PowerBI工具对接DLI Trino”对接DLI Trino。 2023-06-07 Flink Jar作业开发基础样例,补充传参和查看日志的操作指导。
-
conv - 数据湖探索 DLI
型。 需要进行转换进制的数。 参数num格式为浮点数格式、整数格式、字符串格式。 from_base 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 被转换的进制from_base。 参数from_base格式为浮点数格式、整数格式、字符串格式。 to_base
-
Upsert Kafka源表 - 数据湖探索 DLI
些参数的值。 ssl_auth_name 否 无 String DLI侧创建的Kafka_SSL类型的跨源认证名称。Kafka配置SSL时使用该配置。 注意:若仅使用SSL类型,则需要同时配置'properties.security.protocol '= 'SSL'; 若使用S