检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi表的名称 tablelocation Hudi表的存储路径 示例 run clean on h1; run clean on "obs://bucket/path/h1"; 注意事项 对表执行clean操作时需要表的owner才可以执行。 如果需要修改clean默认的参数，需
角色。目前只支持： obs_adm：DLI获得访问和使用OBS的委托权限。 dis_adm：访问和使用DIS数据源，需要获得访问和使用DIS（数据接入服务）DIS Administrator权限。 ctable_adm：访问和使用CloudTable（表格存储服务）的CloudTable
为了方便用户更好地使用DLI，DLI服务提供了供作业开发的Demo样例，您可以通过DLI样例代码获取。 该样例代码的目录内容介绍如下： dli-flink-demo：开发Flink作业时的样例代码参考。例如，样例代码实现读取Kafka源表数据写入到HDFS、DWS、Hive等结果表中的功能。 dli-spark
Hudi表的名称 tablelocation Hudi表的存储路径 示例 run archivelog on h1; run archivelog on "obs://bucket/path/h1"; 注意事项 首先需要执行clean命令，在clean命令清理了历史的数据文件后，
返回。比较器将使用两个可为空的参数，表示数组的两个可为空的元素。当第一个可为空的元素小于，等于或大于第二个可为空的元素时，它将返回-1、0或1。如果比较器函数返回其他值（包括NULL），则查询将失败并引发错误。 SELECT array_sort(ARRAY [3, 2, 5, 1
安全CSS集群的证书，生成的keystore文件在OBS上的地址。 es.net.ssl.keystore.pass 安全CSS集群的证书，生成的keystore文件时的密码。 es.net.ssl.truststore.location 安全CSS集群的证书，生成的truststore文件在OBS上的地址。
location", "obs://桶名/path/transport-keystore.jks") .option("es.net.ssl.keystore.pass", "***") 此处设置keystore.jks文件的位置以及进入这个文件的密钥。在准备工作中生成的keystore
）组成。 table_name Database中的表名，由字母、数字和下划线（_）组成。 using 参数hudi，定义和创建Hudi table。 table_comment 表的描述信息。 location_path OBS路径，指定该路径Hudi表会创建为外表。 options_list
跨源分析 当DLI有访问外部数据源的业务需求时，首先需要通过建立增强型跨源连接，打通DLI与数据源之间的网络，再开发不同的作业访问数据源以实现DLI跨源分析。 本节操作介绍DLI支持的数据源对应的开发方式。 使用须知 Flink作业访问DIS，OBS和SMN数据源，无需创建跨源连接，可以直接访问。
" partitioned by(start_year, class)\n" + " location 'obs://bucket_name/path/deltaTest1012'"; spark.sql(sql_create); String
使用方式 将写好的自定义函数打成JAR包，并上传到OBS上。 在DLI管理控制台的左侧导航栏中，单击数据管理>“程序包管理”，然后单击创建，并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中，单击作业管理>“Flink作业”，在需要编辑作业对应的“操作”列中，单击“编辑”，进入作业编辑页面。
参数名称 是否必选 参数类型 说明 jobs 是 Array of Objects 作业信息列表。具体请参考表3。 msg_confirm_topic 否 String 消息确认topic。 message_id 是 String 消息id。 表3 jobs参数说明 参数名称 是否必选 参数类型
约束限制 新队列第一次运行作业时，需要一定的时间，通常为6~10分钟。 涉及接口 创建弹性资源池：创建弹性资源池。 创建队列：在弹性资源池中添加队列。 上传分组资源：上传Flink自定义作业所需的资源包。 查询组内资源包：确认上传的资源包是否正确。 创建Flink自定义作业：创建Flink自定义作业。
首进入提交SQL作业的界面。提交SQL作业时需要选择支持Hudi的Spark SQL队列。 创建一张Hudi表： 将如下的建表语句粘贴至DLI SQL编辑器的输入区域，修改 LOCATION，执行引擎选择Spark，配置队列，数据目录，数据库，随后点击右上角的执行按钮，提交作业。
使用IF NOT EXISTS子句时，如果表已经存在则不会报错。 可选WITH子句可用于设置新创建的表的属性，如表的存储位置（location）、是不是外表（external）等。 示例 用指定列的查询结果创建新表orders_column_aliased： CREATE TABLE o
table 需要查询表的表名，支持database.tablename格式 是 log_file_path_pattern log file的路径，支持正则匹配 否 merge 执行show_logfile_records时，通过merge控制是否将多个log file中的record合并在一起返回
从Kafka实例的基本信息页面下载SSL证书，解压后将其中的clinet.jks文件上传到OBS。 图3 下载SSL证书 在DLI控制台，打开“数据管理 > 程序包管理”，单击“创建”，创建clinet.jks对应的程序包。 主要参数的填写说明： 包类型：File OBS路径：clinet
同功能。DLI支持的SQL语法可以参考创建DLI表。 可以本地连接DLI吗?支持远程工具连接吗？ 暂不支持。请在控制台提交作业。 详细操作请参考数据湖探索快速入门。 DLI SQL作业超过12h会被kill掉吗？ 默认情况下，为了保障队列的稳定运行，超过12h的SQL作业会被系统按超时取消处理。
（不使用Catalog的场景）： 这里的sink表通过创建临时表指向Hudi表路径来写入数据，同时在表参数中配置hive_sync相关参数，实时同步元数据至由DLI提供的元数据服务。（具体参数详见Flink参数一节） 请将作业中sink表的path参数修改为希望保存hudi表的obs路径。 --
SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化，参考队列相关完成队列创建等操作。 新建SQL作业 DLI提供新建Flink SQL作业的接口。您可以使用该接口新建Flink SQL作业并提交到DLI，示例代码如下： 1 2
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
