检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MySql CDC 功能描述 MySQL的CDC源表，即MySQL的流式源表，会先读取数据库的历史全量数据，并平滑切换到Binlog读取上，保证数据的完整读取。 表1 支持类别 类别 详情 支持表类型 源表 前提条件 MySQL CDC要求MySQL版本为5.6，5.7或8.0.x。
scala样例代码 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 CSS非安全集群 开发说明 构造依赖信息，创建SparkSession 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency> <groupId>org
MySQL CDC源表 功能描述 MySQL的CDC源表，即MySQL的流式源表，会先读取数据库的历史全量数据，并平滑切换到Binlog读取上，保证数据的完整读取。 前提条件 MySQL CDC要求MySQL版本为5.7或8.0.x。 该场景作业需要DLI与MySQL建立增强型跨
Flink 1.15版本说明 数据湖探索（DLI）遵循开源Flink计算引擎的发布一致性。本文介绍Flink 1.15版本所做的变更说明。 更多Flink 1.15版本说明请参考Release Notes - Flink Jar 1.15、Flink OpenSource SQL1
返回NULL。 将指定格式的字符串转换为日期值。 to_utc_timestamp to_utc_timestamp(string timestamp, string timezone) TIMESTAMP 将timezone所对应的时间戳转换为UTC的时间戳。 trunc trunc(string
项目编号，用于资源隔离。获取方式请参考获取项目ID。 queue_name 是 String 指定查询的队列名称。 说明： 队列名称不区分大小写，系统会自动转换为小写。 请求消息 无请求参数。 响应消息 表2 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean
式。 参数a非DOUBLE类型时，会隐式转换为DOUBLE类型后参与运算。 p 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数p的格式包括浮点数格式、整数格式、字符串格式。 参数p非DOUBLE类型时，会隐式转换为DOUBLE类型后参与运算。 返回值说明
Spark 3.1.1版本说明 数据湖探索（DLI）遵循开源Spark计算引擎的发布一致性。本文介绍Spark 3.1.1版本所做的变更说明。 更多Spark 3.1.1版本说明请参考Spark Release Notes。 Spark 3.1.1版本发布时间 版本名称 发布时间
'true' ); 使用说明 滚动策略 RollingPolicy 定义了何时关闭给定的In-progress Part文件，并将其转换为Pending状态，然后再转换为Finished状态。 Finished状态的文件，可供查看并且可以保证数据的有效性，在出现故障时不会恢复。 在 STR
[5, 6, 7] | [25, 36, 49] (3 rows) 利用transform()函数将数组元素转为字符串，无法转换则转为NULL输出，避免报错产生： SELECT transform(prices, n -> TRY_CAST(n AS VARCHAR)
'true' ); 使用说明 滚动策略 RollingPolicy 定义了何时关闭给定的In-progress Part文件，并将其转换为Pending状态，然后再转换为Finished状态。 Finished状态的文件，可供查看并且可以保证数据的有效性，在出现故障时不会恢复。 在 STR
故障处理 运行Spark作业，作业运行失败，作业日志中提示No respond错误 问题现象 运行Spark作业，作业运行失败，作业日志中提示No respond错误 解决方案 重新创建Spark作业，创建作业时需要在“Spark参数（--conf）”中添加配置：“spark.sql
servers=<yourKafkaAddress1>:<yourKafkaPort>,<yourKafkaAddress2>:<yourKafkaPort> 将ecs切换到confluent-5.5.2目录下，使用下述命令启动confluent： bin/schema-registry-start etc/
所有数据类型都可用关系运算符进行比较，并返回一个BOOLEAN类型的值。 关系运算符均为双目操作符，被比较的两个数据类型必须是相同的数据类型或者是可以进行隐式转换的类型。 Flink SQL提供的关系运算符，请参见表1。 表1 关系运算符 运算符 返回类型 描述 A = B BOOLEAN 若A与B
BI通过Kyuubi连接DLI进行数据查询和分析 Fine BI是一款智能可视化工具，专注于数据分析和可视化。它支持连接多种数据源，能够将复杂的数据转换为直观的图表和仪表板，快速获得数据洞察。 Kyuubi是一个分布式 SQL 查询引擎，它提供了标准的SQL接口，使用户能够方便地访问和分析存储在大数据平台中的数据。
跨源RDS表，执行insert overwrite提示Incorrect string value错误怎么办？ 问题现象 客户在数据治理中心DataArts Studio创建DLI的跨源RDS表，执行insert overwrite语句向RDS写入数据报错：DLI.0999: B
由于MAP类型的键不能为NULL，MAP键不支持对插入数据进行可能出现NULL值类型之间的隐式转换，如：STRING类型转换为其他原生类型、FLOAT类型转换为TIMESTAMP类型、其他原生类型转换为DECIMAL类型等。 STRUCT数据类型不支持double，boolean数据类型。
rk会保持该配置要求，不会自动转换为可空的字段。 Spark2.4.x：在Spark 2.4.x版本中，当用户指定的schema包含不可为空的字段时，Spark会将这些不可为null的模式转换为可空的。 Spark3.3.x：Spark不会自动转换为可空的字段。 如果希望在Spark
Integer 偏移量。默认为0。 status 否 String 弹性资源池状态。具体参数范围如下： AVAILABLE：可使用 SCALING：规格变更中 CREATING：创建中 FAILED：已失败 tags 否 String 查询根据标签进行过滤。 请求消息 无。 响应消息 表3 响应参数说明
方案 说明 使用DLI分析车联网场景驾驶行为数据 使用DLI进行车联网场景驾驶行为数据分析。 使用DLI将CSV数据转换为Parquet数据 使用DLI将CSV数据转换为Parquet数据的方法。 使用DLI分析电商BI报表 以某商城真实的用户、商品、评论数据（脱敏后）为基础，介绍使用DLI进行电商BI报表分析的方法。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
