检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
具体如下： “dli-spark-demo-obs”读取和写入OBS数据。 “dli-spark-demo-redis”读取和写入Redis数据。 dli-pyspark-demo：使用Python语言开发Spark作业。例如，样例包中的样例代码实现创建Redis表的功能。
Hive 方言支持的 DDL 语句，Flink 1.15 当前仅支持使用Hive语法创建OBS表和使用hive语法的DLI Lakehouse表。 使用Hive语法创建OBS表 defalut方言： with 属性中需要设置hive.is-external为true。
传入要删除的字段，返回不包含此字段的DataFrame对象，并且每次只能删除一个字段，示例如下： 1 jdbcDF.drop("id").show() 提交作业 将写好的代码生成jar包，上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。
图10 生成Jar包 登录OBS控制台，将生成的Jar包文件上传到OBS路径下。 Jar包文件上传的OBS桶所在的区域需与DLI的队列区域相同，不可跨区域执行操作。 （可选）可以将Jar包文件上传到DLI的程序包管理中，方便后续统一管理。
“EXTERNAL”：OBS表。 “VIEW”：VIEW视图。 data_type 否 String 数据类型，包括“csv”，“parquet”，“orc”，“json”和“avro”。 data_location 否 String 数据存储的路径，为OBS路径。
部分字段更新 create table h0(id int, comb int, name string, price int) using hudi options(primaryKey = 'id', preCombineField = 'comb') LOCATION 'obs
参数 表1 INSERT OVERWRITE DIRECTORY参数描述 参数 描述 path 要将查询结果写入的OBS路径。 file_format 写入的文件格式，支持按CSV、Parquet、ORC、JSON、Avro格式。
注意事项 导入OBS表时，创建OBS表时指定的路径必须是文件夹，若建表路径是文件将导致导入数据失败。 仅支持导入位于OBS路径上的原始数据。 不建议对同一张表并发导入数据，因为有一定概率发生并发冲突，导致导入失败。 导入数据时只能指定一个路径，路径中不能包含逗号。
在准备工作中生成的keystore.jks文件需要先放到OBS桶中，然后填入ak和sk以及jks文件的具体位置。最后在“es.net.ssl.keystore.pass”填入进入文件的密钥。
CREATE TABLE orders ( orderkey bigint, orderstatus varchar, totalprice double, orderdate date ) WITH (format = 'ORC', location='obs
示例 参考创建OBS表或者创建DLI表中的示例描述创建对应的表。 查看当前所在数据库中的所有表与视图。 1 SHOW TABLES; 查看testdb数据库下所有以test开头的表。 1 SHOW TABLES IN testdb LIKE "test*"; 父主题： 查看表
"create_time": 1579520179000, "last_access_time": 1579520179000, "locations": [ "obs
使用由DLI提供的元数据服务时，本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功，查看任务日志确认有无异常。 父主题： Hudi DML语法说明
", sk) sparkSession.conf.set("fs.obs.endpoint", enpoint) sparkSession.conf.set("fs.obs.connecton.ssl.enabled", "false") 通过SQL API访问 创建DLI跨源访问
注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。
如obs://xx/xx table.type 是 COPY_ON_WRITE String Hudi表类型。
请求消息 请求样例 表2 请求参数说明 参数名称 是否必选 参数类型 说明 jobs 是 Array of Objects 作业信息列表。具体请参考表3。 msg_confirm_topic 否 String 消息确认topic。
在DLI管理控制台的左侧导航栏中，单击数据管理>“程序包管理”，然后单击创建，并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中，单击作业管理>“Flink作业”，在需要编辑作业对应的“操作”列中，单击“编辑”，进入作业编辑页面。
"auto.purge"='false'时，仅清除元数据，数据文件会移入OBS回收站。默认值为“false”，且不建议用户修改此属性，避免数据删除后无法恢复。
使用由DLI提供的元数据服务时，本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功，查看任务结果，查看任务日志确认有无异常。 父主题： Hudi DML语法说明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
