检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理Flink作业 查看Flink作业详情 设置Flink作业优先级 开启Flink作业动态扩缩容 查询Flink作业日志 Flink作业常用操作 父主题： 使用DLI提交Flink作业
径是文件将导致导入数据失败。 当OBS的目录下有同名文件夹和文件时，数据导入指向该路径会优先指向文件而非文件夹。 说明： 路径同时支持文件和文件夹。 obs://DLI/sampledata.csv 表头:无/有 当“文件格式”为“CSV”时该参数有效。设置导入数据源是否含表头。
LI集中分析和管理，您可以通过云数据迁移服务CDM等迁移工具迁移数据至DLI，再使用DLI提交作业分析数据。 CDM支持数据库、数据仓库、文件等多种类型的数据源，通过可视化界面对数据源迁移任务进行配置，提高数据迁移和集成的效率。 图1 迁移数据至DLI 常见迁移场景与迁移方案指导
已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 Maven工程的pom.xml文件配置请参考JAVA样例代码（Flink 1.12）中“pom文件配置”说明。 确保本地编译环境可以正常访问公网。 约束与限制 需要在DLI控制台下“全局配置 > 服务授权”开启Tenant
使用DLI提交SQL作业 创建并提交SQL作业 导出SQL作业结果 配置SQL防御规则 设置SQL作业优先级 查询SQL作业日志 管理SQL作业 查看SQL执行计划 创建并管理SQL作业模板
用户”，选择新建用户，选择“更多 > 下载认证凭据”，保存后解压得到用户的keytab文件与krb5.conf文件。 创建MRS HBase表 创建DLI表关联MRS HBase表之前确保HBase的表是存在的。以样例代码为例，具体的流程是： 远程登录ECS，通过hbase shell命令查看表信息。其中，“hbtest”是要查询的表名。
'obs://....') using json：指定使用 JSON 格式。 options：用于设置表的选项。 path：指定OBS中JSON文件的路径。 父主题： SQL作业开发类
定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 构造依赖信息，创建SparkSession 导入依赖。 涉及到mvn依赖 1 2 3 4 5
查询组内资源包：确认上传的资源包是否正确。 创建批处理作业：创建并提交Spark批处理作业。 查询批处理作业状态：查看批处理作业状态。 查询批处理作业日志：查看批处理作业日志。 操作步骤 创建弹性资源池elastic_pool_dli 接口相关信息 URI格式：POST /v3/{project_id
ID/数据文件。 图1 DLI datasource v1表 DLI datasource v2表（以下简称V2表）：spark开源的Datasource表，建表/插入/truncate命令使用spark开源的command，表的数据路径为$tablepath/数据文件。 图2 DLI
Flink作业咨询类 如何给子用户授权查看Flink作业？ Flink作业怎样设置“异常自动重启”？ Flink作业如何保存作业日志？ Flink作业管理界面对用户进行授权时提示用户不存在怎么办？ 手动停止了Flink作业，再次启动时怎样从指定Checkpoint恢复？ DLI使
ink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink
匹配分区。 展示的信息将包括表的基本信息和相关的文件系统信息，其中文件系统信息包括总文件数、总文件大小、最大文件长度、最小文件长度、最后访问时间以及最后更新时间。如果指定了分区，将给出指定分区的文件系统信息，而不是分区所在表的文件系统信息。 参数说明 IN | FROM schema_name
法可以参考使用Hive语法创建OBS表。 回收站数据自动清理需要在OBS并行文件系统的桶上配置回收站数据的生命周期规则。具体步骤参考如下： 在OBS服务控制台页面左侧选择“并行文件系统”，单击对应的文件系统名称。 在“基础配置”下单击“生命周期规则”，创建或者编辑生命周期规则。 图1
定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现详解 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency>
在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 操作前准备 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency>
current_timestamp() - INTERVAL 1 day ZORDER BY (price); 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题： Delta DML语法说明
定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 通过DataFrame API 访问 import相关依赖 from __future__
DLI服务只支持UTF-8文本格式，因此在执行创建表和导入操作时，用户的数据需要以UTF-8编码。 在将数据导入DLI之前，确保源数据文件（如CSV、JSON等）是以UTF-8编码保存的。如果数据源不是UTF-8编码，请在导入前提前转换为UTF-8编码。 父主题： DLI数据库和表类
导出结果：将作业运行结果导出至用户创建的OBS桶中。 EXPORT作业除上述操作外，还包括： 立即下载 归档日志：将作业日志保存到系统创建的DLI临时OBS数据桶中。 说明： default队列下运行的作业或者该作业为同步作业时不支持归档日志操作。 查看作业详情 在“SQL作业”页面，选中一条作业，单击该作业对应的，可查看该条作业的详细信息。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
