检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency>
DLI常用操作与系统权限关系 OBS 2.0支持 弹性资源池和队列 使用DLI提交作业前，您需要为提交作业准备所需的计算资源。 · 弹性资源池和队列：弹性资源池为DLI作业运行提供所需的计算资源（CPU和内存），灵活应对业务对计算资源变化的需求。同一弹性资源池中，队列之间的计算资源支持共享。
水与明细账单。 查看数据存储的资源账单 DLI控制台并未展示数据存储的相关信息，您可以在费用中心查询DLI数据存储的资源账单。 在控制台顶部菜单栏中选择“费用与成本 > 费用账单”。 选择“流水和明细账单 > 明细账单”，在产品的筛选条件中选择“DLI存储空间”，单击图标即可搜索DLI数据存储的资源账单。
创建一个新的数据连接，通过JDBC连接Kyuubi。 步骤1：安装并配置Kyuubi连接DLI 如需使用外网访问Kyuubi请确保弹性云服务器绑定弹性公网IP，并配置安全组入方向开启10009和3309端口。 安装JDK。 在安装和使用Kyuubi前，确保您的开发环境已安装JDK。
中所有文件，包含子目录中的文件。 false compression 否 指定压缩格式。一般为parquet格式时指定该参数，推荐使用'zstd'压缩格式。 - 示例1：创建DLI非分区表 示例说明：创建名为table1的DLI非分区表，使用USING关键字指定该表的存储格式为orc格式。
在DLI管理控制台上已完成创建增强跨源连接，并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 通过DataFrame API 访问 import相关依赖 from __future__
创建一个新的数据连接，通过JDBC连接Kyuubi。 步骤1：安装并配置Kyuubi连接DLI 如需使用外网访问Kyuubi请确保弹性云服务器绑定弹性公网IP，并配置安全组入方向开启10009和3309端口。 安装JDK。 在安装和使用Kyuubi前，确保您的开发环境已安装JDK。
OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”或“jobmanager”的文件夹进入，下载获取taskmanager.out和jobmanager.out文件查看结果日志。 验证跨源是否正确绑定且安全组规则已对该队列开放。
在“弹性扩缩容定时任务”页面，单击操作列的“修改”，根据提示修改弹性扩缩容定时任务。 删除弹性扩缩容定时任务 如果不再需要定时修改队列规格，可以在“弹性扩缩容定时任务”页面删除弹性扩缩容定时任务。 在DLI管理控制台左侧，选择“资源管理 > 队列管理”。 选择需要设置弹性扩缩容定
创建一个新的数据连接，通过JDBC连接Kyuubi。 步骤1：安装并配置Kyuubi连接DLI 如需使用外网访问Kyuubi请确保弹性云服务器绑定弹性公网IP，并配置安全组入方向开启10009和3309端口。 安装JDK。 在安装和使用Kyuubi前，确保您的开发环境已安装JDK。
最佳实践内容概览 表1 DLI最佳实践 方案 说明 使用DLI分析车联网场景驾驶行为数据 使用DLI进行车联网场景驾驶行为数据分析。 使用DLI将CSV数据转换为Parquet数据 使用DLI将CSV数据转换为Parquet数据的方法。 使用DLI分析电商BI报表 以某商城真实的
本节操作介绍查看弹性资源池计算资源使用情况、作业所需CU数的查看方法。 怎样查看弹性资源池的资源使用情况？ 登录DLI管理管理控制台。 选择“资源管理 > 弹性资源池”。 在弹性资源池的列表页查看资源池的“实际CUs”和“已使用CUs”。 实际CUs：弹性资源池当前分配的可用CUs。
u_num 弹性资源池CU分配量 展示用户弹性资源池的CU分配情况。 ≥0 弹性资源池 5分钟 elastic_resource_pool_min_cu_num 弹性资源池最小CU 展示用户弹性资源池的最小CU。 ≥0 弹性资源池 5分钟 elastic_resource_pool_max_cu_num
BI连接Kyuubi：在BI工具中创建一个新的数据连接，通过JDBC连接Kyuubi。 步骤1：安装并配置Kyuubi连接DLI 如需使用外网访问Kyuubi请确保弹性云服务器绑定弹性公网IP，并配置安全组入方向开启10009和3309端口。 安装JDK。 在安装和使用Kyuubi前，确保您的开发环境已安装JDK。
data_path 是 String 导出数据的储存路径（当前仅支持将数据存储在OBS上）。另外，“export_mode”配置为“errorifexists”时，该路径下的文件夹须不存在，如请求样例中的“test”文件夹。 data_type 是 String 导出数据的类型，目前API支持csv和json格式数据。
i表。为了能够在文件大小和入湖速度之间进行权衡，Hudi提供了一个hoodie.parquet.small.file.limit配置来设置最小文件大小。用户可以将该配置设置为“0”，以强制新数据写入新的文件组，或设置为更高的值以确保新数据被“填充”到现有小的文件组中，直到达到指定大小为止，但其会增加摄取延迟。
表3 弹性资源池CU时计费场景说明 场景 场景简介 弹性资源池创建周期 弹性资源池使用中周期 弹性资源池删除周期 场景一 弹性资源池创建成功状态为“可使用”时间点为：09:40，则下一个整点为10:00 弹性资源池删除成功时间点为：11:40，则上一个整点为11:00 弹性资源池
如何合并小文件 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 推荐使用临时表进行数据中转 自读自写在突发异常场景下存在数据丢失的风险 执行SQL： INSERT OVERWRITE TABLE tablename select
数据迁移与传输方式概述 导入数据至OBS DLI支持在不迁移数据的情况下，直接访问OBS中存储的数据进行查询分析。 您只需将本地数据导入OBS即可开始使用DLI进行数据分析。 导入数据的具体操作请参考上传对象。 迁移数据至DLI 为了将分散在不同系统中的数据迁移到DLI，确保数据
15版本数据同步迁移场景，优先推荐使用DataArts的数据集成。 Flink 1.15版本支持集成DEW-CSMS凭证管理，提供隐私保护方案。 Flink 1.15版本支持Flink Jar作业最小化提交。 Flink Jar作业最小化提交是指Flink仅提交作业必须的依赖项，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
