检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DLI将CSV数据转换为Parquet数据 应用场景 Parquet是面向分析型业务的列式存储格式，这种格式可以加快查询速度，查询Parquet格式数据时，只检查所需要的列并对它们的值执行计算，也就是说，只读取一个数据文件或表的一小部分数据。Parquet还支持灵活的压缩选项
通用队列操作OBS表如何设置AK/SK （推荐）方案1：使用临时AK/SK 建议使用临时AK/SK，获取方式可参见统一身份认证服务_获取临时AK/SK。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 表1
SQL作业访问报错：File not Found 问题现象 执行SQL作业访问报错：File not Found。 可能原因 可能由于文件路径错误或文件不存在导致系统无法找指定文件路径或文件。 文件被占用。 解决措施 检查文件路径、文件名。 检查文件的路径是否正确，包括目录名称和文件名。
Flink SQL作业消费Kafka后sink到es集群，作业执行成功，但未写入数据 问题现象 客户创建Flink SQL作业，消费Kafka后sink到es集群，作业执行成功，但无数据。 原因分析 查看客户作业脚本内容，排查无问题，作业执行成功，出现该问题可能的原因如下： 数据不准确。
Flink Jar作业是否支持上传配置文件，要如何操作？ Flink Jar作业上传配置文件操作流程 自定义(JAR)作业支持上传配置文件。 将配置文件通过程序包管理上传到DLI； 在Flink jar作业的其他依赖文件参数中，选择创建的DLI程序包； 在代码中通过ClassName
用户通过CTAS创建hive表报schema解析异常错误 目前DLI支持hive语法创建TEXTFILE、SEQUENCEFILE、RCFILE、ORC、AVRO、PARQUET文件类型的表。 如果用户CTAS建表指定的文件格式为AVRO类型，而且直接使用数字作为查询语句（SELECT）的输入，如“CREATE
Python开发环境配置 操作场景 在安装和使用Python SDK前，确保您已经完成开发环境的基本配置。 Python版本建议使用2.7.10和3.4.0以上版本，需要配置Visual C++编译环境Visual C++ build tools 或者 Visual Studio。
SQL作业中存在join操作，因为自动广播导致内存不足，作业一直运行中 问题现象 SQL作业中存在join操作，作业提交后状态一直是运行中，没有结果返回。 问题根因 Spark SQL作业存在join小表操作时，会触发自动广播所有executor，使得join快速完成。但同时该操
为什么在DLI控制台中查询不到表？ 问题现象 已知存在某DLI表，但在DLI页面查询不到该表。 问题根因 已有表但是查询不到时，大概率是因为当前登录的用户没有对该表的查询和操作权限。 解决措施 联系创建该表的用户，让该用户给需要操作该表的其他用户赋予查询和操作的权限。赋权操作如下：
通过DLI跨源写DWS表，非空字段出现空值异常怎么办？ 问题现象 客户在DWS建表，然后在DLI创建跨源连接读写该表，突然出现如下异常，报错信息显示DLI向该表某非空字段写入了空值，因为非空约束存在导致作业出错。 报错信息如下： DLI.0999: PSQLException: ERROR:
REFRESH TABLE刷新表元数据 功能描述 Spark为了提高性能会缓存Parquet的元数据信息。当更新了Parquet表时，缓存的元数据信息未更新，导致Spark SQL查询不到新插入的数据作业执行报错，报错信息参考如下： DLI.0002: FileNotFoundException:
配置DLI读写外部数据源数据的操作流程 DLI执行作业需要读写外部数据源时需要具备两个条件： 打通DLI和外部数据源之间的网络，确保DLI队列与数据源的网络连通。 妥善保存数据源的访问凭证确保数据源认证的安全性，便于DLI安全访问数据源。 本节操作介绍配置DLI读写外部数据源数据操作流程。
提交作业时提示作业桶权限不足怎么办？ 问题描述 已经配置DLI作业桶，且完成Flink桶授权后在提交作业时仍然提示桶未授权怎么办？ 根因分析 使用DLI作业桶需要确保已完成DLI作业桶的权限配置。 您需要在OBS管理控制台中检查DLI作业桶的桶策略，确保策略中包含了允许DLI服务进行必要操作的授权信息。
SQL作业运行慢如何定位 作业运行慢可以通过以下步骤进行排查处理。 可能原因1：FullGC原因导致作业运行慢 判断当前作业运行慢是否是FullGC导致： 登录DLI控制台，单击“作业管理 > SQL作业”。 在SQL作业页面，在对应作业的“操作”列，单击“更多 > 归档日志”。
最佳实践内容概览 表1 DLI最佳实践 方案 说明 使用DLI分析车联网场景驾驶行为数据 使用DLI进行车联网场景驾驶行为数据分析。 使用DLI将CSV数据转换为Parquet数据 使用DLI将CSV数据转换为Parquet数据的方法。 使用DLI分析电商BI报表 以某商城真实的
DLI“包年/包月”和“按需计费”计费模式队列和“队列CU时套餐包”下线（EOL）公告 公告说明 为了更好的实现资源共享，提高计算资源利用率，DLI将“包年/包月”和“按需计费”计费模式队列升级为“弹性资源池队列”。即使用DLI计算资源需先购买弹性资源池，并在弹性资源池中创建队列。
Flink 1.15版本说明 数据湖探索（DLI）遵循开源Flink计算引擎的发布一致性。本文介绍Flink 1.15版本所做的变更说明。 更多Flink 1.15版本说明请参考Release Notes - Flink Jar 1.15、Flink OpenSource SQL1
join表时没有添加on条件，造成笛卡尔积查询，导致队列资源爆满，作业运行失败怎么办？ 问题现象 运行的SQL语句中存在join表，但是join没有添加on条件，多表关联造成笛卡尔积查询，最终导致队列资源占满，该队列上的作业运行失败。 例如，如下问题SQL语句，存在三个表的left
Hudi Compaction操作说明 什么是Compaction Compaction用于合并mor表Base和Log文件，Compaction包含两个过程Schedule和Run。Schedule过程会在TimeLine里生成一个Compaction Plan，这个Compaction
Redis结果表 功能描述 DLI将Flink作业的输出数据输出到Redis中。Redis是一种支持Key-Value等多种数据结构的存储系统。可用于缓存、事件发布或订阅、高速队列等场景，提供字符串、哈希、列表、队列、集合结构直接存取，基于内存，可持久化。有关Redis的详细信息
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
