检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink SQL采用SQL Client 提交方式，相比Flink1.12的优化参数，Flink 1.15需要在SQL脚本使用SET 'key'='vaule'；进行配置。详细语法请参考SQL Client Configuration。
在提交Spark SQL或Flink SQL作业时，无需手动配置Hudi的 hoodie.write.lock.provider 配置项，但在提交Spark jar作业时必须手动配置，请见 Hudi锁配置说明 一节。
STREAMING 不断写入，向Hive添加新数据，以增量方式提交记录使其可见。用户控制何时/如何触发具有多个属性的提交。流式写入不支持插入覆盖。有关可用配置的完整列表，请参阅流式处理接收器。
查询作业状态 功能介绍 该API用于在作业提交后查询作业状态。 调试 您可以在API Explorer中调试该接口。
CAST示例二 参考Kafka和Print创建flink opensource sql作业，输入以下作业运行脚本，提交运行作业。
描述表信息（废弃） 功能介绍 该API用于描述指定表的元数据信息。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v1.0/{project_id}/databases/{database_name}/tables
您可以使用该接口取消已经提交的作业，若作业已经执行结束或失败则无法取消。
Flink Jar作业访问DWS启动异常，提示客户端连接数太多错误 问题描述 提交Flink Jar作业访问DWS数据仓库服务时，提示启动失败，作业日志报如下错误信息。
查询OpenTSDB表 SELECT命令用于查询OpenTSDB表中的数据。 若OpenTSDB上不存在metric，查询对应的DLI表会报错。 若OpenTSDB开了安全模式，则访问时，需要设置conf:dli.sql.mrs.opentsdb.ssl.enabled=true
取消作业（推荐） 功能介绍 该API用于取消已经提交的作业，若作业已经执行结束或失败则无法取消。 调试 您可以在API Explorer中调试该接口。
使用前必读 使用须知 DLI HetuEngine功能为白名单功能，如需使用，请在管理控制台右上角，选择“工单 > 新建工单”，提交申请。 使用前您需要先创建一个HetuEngine类型的SQL队列，具体操作请参考创建弹性资源池并添加队列。
Spark jar 如何读取上传文件 Spark可以使用SparkFiles读取 –-file中提交上来的文件的本地路径，即：SparkFiles.get("上传的文件名")。
方法二：若在提交运行作业前“运行参数”选择了“保存作业日志”，可以通过如下操作查看。 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击对应的Flink作业名称，选择“运行日志”，单击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。
sink.enable-2pc TRUE 否 是否开启两阶段提交(2pc)，默认为true，保证Exactly-Once语义。关于两阶段提交可参考这里。 sink.check-interval 10000 否 加载时检查间隔异常。
false：禁用作业重试，所有类型的命令都不重新提交，一旦driver故障，作业将标记为失败（FAILED）。 true：启用作业重试，即在driver故障时，所有类型的作业都将重新提交。
Hudi锁配置说明 提交Spark jar作业时需要手动配置Hudi锁。
创建源表 Kafka源表 DIS源表 JDBC源表 DWS源表 Redis源表 Hbase源表 userDefined源表 父主题： 数据定义语句DDL
填写完毕后，勾选协议并单击“提交”。 父主题： DLI资源配额类
文件合并 FileSink 开始支持已经提交Pending文件的合并，从而允许应用设置一个较小的时间周期并且避免生成大量的小文件。 这一功能开启后，在文件转为Pending状态与文件最终提交之间会进行文件合并。这些Pending状态的文件将首先被提交为一个以.开头的临时文件。
创建数据库和表 了解数据目录、数据库和表 在DLI控制台创建数据库和表 查看表元数据 在DLI控制台管理数据库资源 在DLI控制台管理表资源 创建并使用LakeFormation元数据
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
