检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
初始化DLI客户端 使用DLI SDK工具访问DLI，需要用户初始化DLI客户端。
在执行SQL查询时，动态分区修剪可以帮助减少需要扫描的数据量，提高查询性能。 配置为true时，代表启用动态分区修剪，SQL会在查询中自动检测并删除那些不满足WHERE子句条件的分区，适用于在处理具有大量分区的表时。
initial（默认）：在第一次启动时，会先扫描历史全量数据，然后读取最新的Binlog数据。 latest-offset：在第一次启动时，不会扫描历史全量数据，直接从Binlog的末尾（最新的Binlog处）开始读取，即只读取该Connector启动以后的最新变更。
本节操作介绍使用CDM迁移工具将数据从数据源迁移至DLI的操作步骤。 图1 使用CDM迁移数据至DLI操作流程 步骤1：创建CDM集群 CDM集群用于执行数据迁移作业，将数据从数据源迁移至DLI。 登录CDM管理控制台。
如果使用IntelliJ IDEA工具对创建的自定义函数进行调试，则需要在IDEA上勾选：include dependencies with "Provided" scope，否则本地调试运行时会加载不到pom文件中的依赖包。
迁移数据场景概述 为了将分散在不同系统中的数据迁移到DLI，确保数据可以在DLI集中分析和管理，您可以通过云数据迁移服务CDM等迁移工具迁移数据至DLI，再使用DLI提交作业分析数据。
BI工具 对接永洪BI：与永洪BI对接实现数据分析。具体内容请参考《数据湖探索开发指南》。 DLI核心引擎：Spark+Flink+HetuEngine Spark是用于大规模数据处理的统一分析引擎，聚焦于查询计算分析。
迁移数据至DLI 为了将分散在不同系统中的数据迁移到DLI，确保数据可以在DLI集中分析和管理，您可以通过云数据迁移服务CDM等迁移工具迁移数据至DLI，再使用DLI提交作业分析数据。
下载地址请参考《对象存储服务工具指南》。 安装OBS Browser+。安装步骤请参考《对象存储服务工具指南》。 登录OBS Browser+。OBS Browser+支持AK方式登录，以及授权码登录两种登录方式。登录步骤请参考《对象存储服务工具指南》。
DLI暂不支持本地测试Spark作业，您可以安装DLI Livy工具，通过Livy工具提供的交互式会话能力调测Spark作业。 推荐使用使用Livy提交Spark Jar作业。 DLI 表(OBS表 / DLI 表 )数据支持删除某行数据吗？
使用keytool工具生成keystore和truststore文件。 使用keytool工具生成keystore和truststore文件，其中需要使用到安全集群的安全证书（CloudSearchService.cer），keytool工具还有其他参数，可根据需求设置。
按照扫描量计费。 1：表示按照CU时收费。 2：表示按照包年包月收费。 resource_id 否 String 队列的资源ID。 enterprise_project_id 否 String 企业项目ID。0”表示default，即默认的企业项目。
在缓存过期后，将重新扫描Hive表以加载最新的数据。 参数 默认值 类型 说明 lookup.join.cache.ttl 60 min Duration 查找连接中构建表的缓存 TTL（例如 10 分钟）。默认情况下，TTL 为 60 分钟。
客户端工具操作指导 使用Spark-submit提交作业 使用UDF操作指导 第三方BI工具对接DLI 配置BI工具连接DLI 跨源数据分析操作指导 概述 对接HBase 对接OpenTSDB 对接RDS 对接DWS 对接CSS 常见问题 了解更多常见问题、案例和解决方案 通用问题
安装和配置IntelliJ IDEA IntelliJ IDEA为进行应用开发的工具，版本要求使用2019.1或其他兼容版本。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。
在执行SQL查询时，动态分区修剪可以帮助减少需要扫描的数据量，提高查询性能。 配置为true时，代表启用动态分区修剪，SQL会在查询中自动检测并删除那些不满足WHERE子句条件的分区，适用于在处理具有大量分区的表时。
同时数据湖探索还提供多种编程语言的SDK供您使用，SDK的使用方法请参见华为云开发工具包（SDK）。 父主题： API使用前必读
准备环境 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。
编写调试完成代码后，通过IntelliJ IDEA工具编译代码并导出Jar包。 单击工具右侧的“Maven”，参考下图分别单击“clean”、“compile”对代码进行编译。 编译成功后，单击“package”对代码进行打包。
安装和配置IntelliJ IDEA IntelliJ IDEA为进行应用开发的工具，版本要求使用2019.1或其2019.1往后的版本。 安装Maven 开发环境的基本配置（下载并安装 Maven）。用于项目管理，贯穿软件开发生命周期。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
