检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
问题根因 第一次执行DLI SQL脚本，用户没有在DLI控制台上同意隐私协议导致在DataArts Studio运行SQL脚本报错。 解决方案 登录DLI控制台，选择“SQL编辑器”，输入任意执行一个SQL语句，比如“select 1”。 弹出隐私协议后，勾选“同意以上隐私协议”，单击“确定”。
int，配置了OBS桶保存作业日志和Checkpoint。但是运行该Flink SQL作业的IAM用户没有OBS写入权限导致该问题。 解决方案 登录IAM控制台页面，单击“用户”，在搜索框中选择“用户名”，输入运行作业的IAM用户名。 单击查询到用户名，查看该用户对应的用户组。
该表进行权限赋予。 问题根因 删除表后再重建同名的表，该场景下表权限不会自动继承，需要重新对需要操作该该表的用户或项目进行赋权操作。 解决方案 表删除再创建后，需要重新对需要操作该表的用户或项目进行赋权操作。具体操作如下： 在管理控制台左侧，单击“数据管理”>“库表管理”。 单击
型请参考DLI队列类型。 弹性资源池模式的通用队列和SQL队列不支持跨可用区。 使用方法：先创建弹性资源池，然后在弹性资源池中创建队列并分配计算资源，队列关联到具体的作业和数据处理任务。 购买弹性资源池并在弹性资源池中添加队列的具体操作步骤请参考创建弹性资源池并添加队列。 全局共享模式：
W”或“DLI提供的跨源认证方式”来存储数据源的认证信息。 数据加密服务（Data Encryption Workshop, DEW）是一个综合的云上数据加密服务，为您解决数据安全、密钥安全、密钥管理复杂等问题。推荐使用数据加密服务DEW来存储数据源的认证信息。 Spark 3.3
表相关 创建DLI表 DLI提供创建DLI表的接口。您可以使用该接口创建数据存储在DLI内部的表。示例代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 def create_dli_tbl(dli_client
delta_table0 RETAIN 168 HOURS;--单位只支持HOURS 优化Delta表 为了提高查询速度，Delta Lake支持优化数据在存储中的布局，这会将许多较小的文件压缩为较大的文件。 optimize delta_table0; optimize delta_table0
被克隆的信息包括：schema、分区信息、数据文件路径等。 对克隆表所做的任何更改都只会影响克隆本身，而不会影响源表，只要它们不触及源数据。注意克隆表可能仍会指向源表的数据文件，当源表做了vacuum操作时，可能导致克隆表找不到文件。 命令格式 CREATE TABLE [target_db
10及其以上版本的作业支持在弹性资源池运行。 弹性资源池网段设置后不支持更改。 仅支持查看30天以内的弹性资源池扩缩容历史。 弹性资源池无法直接访问公网。 弹性资源池关联队列 弹性资源池关联队列： 仅支持关联按需计费模式的队列（包括专属队列）。 队列和弹性资源池状态正常，资源未被冻结。 弹性资源池扩缩容
OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”或“jobmanager”的文件夹进入，下载获取taskmanager.out和jobmanager.out文件查看结果日志。 验证跨源是否正确绑定且安全组规则已对该队列开放。
DLI支持的Prometheus基础监控指标 表1提供了DLI支持的Prometheus基础监控指标，AOM Prometheus支持免费存储基础指标。 除基础指标外，AOM Prometheus提供的自定义指标按计费规则付费使用。 表1 DLI支持的Prometheus监控指标
在DLI管理控制台上已完成创建增强跨源连接，并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 通过DataFrame API 访问 import相关依赖 1 2 3 from
在DLI管理控制台上已完成创建增强跨源连接，并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现 导入依赖。 涉及到的mvn依赖库 1 2 3 4 5 <dependency>
在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency>
创建一个新的数据连接，通过JDBC连接Kyuubi。 步骤1：安装并配置Kyuubi连接DLI 如需使用外网访问Kyuubi请确保弹性云服务器绑定弹性公网IP，并配置安全组入方向开启10009和3309端口。 安装JDK。 在安装和使用Kyuubi前，确保您的开发环境已安装JDK。
ource语法的CTAS创建table1_ctas。 此外，本例中table1中OBS表的存储格式为orc，而table1_ctas表的存储格式可以为parquet，即CTAS创建的表存储格式可以不同于原表。 在AS关键字后使用SELECT语句选择需要的数据插入到table1_ctas表中。
是 OBS表存储格式，支持TEXTFILE, AVRO, ORC, SEQUENCEFILE, RCFILE, PARQUET table_comment 否 表描述。仅支持字符串常量。 obs_path 是 数据文件所在的OBS存储路径，推荐使用OBS并行文件系统存储。 格式：o
中所有文件，包含子目录中的文件。 false compression 否 指定压缩格式。一般为parquet格式时指定该参数，推荐使用'zstd'压缩格式。 - 示例1：创建DLI非分区表 示例说明：创建名为table1的DLI非分区表，使用USING关键字指定该表的存储格式为orc格式。
Connector概述 Flink Doris Connector 可以支持通过 Flink 操作（读取、插入、修改、删除） Doris 中存储的数据。详情可参考Flink Doris Connector 只能对Unique Key模型的表进行修改和删除操作。 表1 支持类别 类别
创建一个新的数据连接，通过JDBC连接Kyuubi。 步骤1：安装并配置Kyuubi连接DLI 如需使用外网访问Kyuubi请确保弹性云服务器绑定弹性公网IP，并配置安全组入方向开启10009和3309端口。 安装JDK。 在安装和使用Kyuubi前，确保您的开发环境已安装JDK。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
