检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 操作前准备 构造依赖信息，创建SparkSession 导入依赖 涉及到的mvn依赖库
在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现详解 import相关依赖包 1 2 3 from __future__ import
在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现详解 import相关依赖包 1 2 3 from __future__ import
集群不会被释放，就不会有该问题，或者提交作业后等一段时间再查看SparkUI，确保集群已经拉好了，不要立即单击SparkUI。 目前DLI配置SparkUI只展示最新的100条作业信息。 QUERY作业和异步DDL作业除上述操作外，还包括： 下载到本地：异步DDL和QUERY语句
/krb5.conf'。具体详情参考开启Kerberos认证时的相关配置文件。 keytab 开启Kerberos认证后的keytab文件路径，格式为'./user.keytab'。具体详情参考开启Kerberos认证时的相关配置文件。 principal 开启Kerberos认证后创建的用户名。
在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 构造依赖信息，创建SparkSession 导入依赖。 涉及到mvn依赖 1 2 3 4
String 连接数据库所需要的驱动。若未配置，则会自动通过URL提取。 username 否 无 String 数据库认证用户名，需要和'password'一起配置。 password 否 无 String 数据库认证密码，需要和'username'一起配置。 scan.partition
完全可以配置为基于时间的方式往桶中写入数据，比如可以设置每个小时的数据写入一个新桶中。即桶中将包含一个小时间隔内接收到的记录。 桶目录中的数据被拆分成多个Part文件。对于相应的接收数据的桶的Sink的每个Subtask，每个桶将至少包含一个Part文件。将根据配置的滚动策略来创建其他Part文件。对于Row
长难复杂变量，简化复杂参数，提升SQL语句可读性。 本节操作为您介绍如何创建全局变量。 创建全局变量 在DLI控制台左侧导航栏中单击“全局配置 > 全局变量”。 在“全局变量”页面，单击右上角“创建变量”，可创建新的全局变量。 表1 全局变量参数说明 参数名称 描述 变量名称 所创建的全局变量名称。
driver，以提升队列资源的调度效率。 本节操作介绍在管理控制台设置队列属性的操作步骤。 约束与限制 仅Spark引擎的SQL队列支持配置队列属性。 仅在队列创建完成后支持设置队列属性。 当前仅支持设置Spark driver相关队列属性。 不支持批量设置队列属性。 弹性资源
具迁移数据至DLI，再使用DLI提交作业分析数据。 CDM支持数据库、数据仓库、文件等多种类型的数据源，通过可视化界面对数据源迁移任务进行配置，提高数据迁移和集成的效率。 图1 迁移数据至DLI 常见迁移场景与迁移方案指导 表1 常见迁移场景与迁移方案指导 数据类型 迁移工具 迁移方案
并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 通过DataFrame API 访问 import相关依赖 1 2 3 from __future__
并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现 导入依赖。 涉及到的mvn依赖库 1 2 3 4 5 <dependency>
在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency>
在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 构造依赖信息，创建SparkSession 导入依赖 涉及到的mvn依赖库 1 2 3
在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现详解 import相关依赖包 1 2 3 from __future__ import
并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 构造依赖信息，创建SparkSession 导入依赖。 涉及到mvn依赖 1 2
并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现详解 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency>
在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency>
基本概念 弹性资源池 专属的计算资源，不同弹性资源上的计算资源完全隔离，弹性资源池内的不同队列资源可以共享，并可以根据队列资源负载配置策略进行分时弹性扩缩容，满足不同的业务需求。 DLI存储资源 DLI存储资源是DLI服务内部存储的资源，用于存储数据库和DLI表，是向DLI导入数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
