检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。
使用方式 将写好的自定义函数打成JAR包,并上传到OBS上。 在DLI管理控制台的左侧导航栏中,单击数据管理>“程序包管理”,然后点击创建,并使用OBS中的jar包创建相应的程序包。
Hive 方言支持的 DDL 语句,Flink 1.15 当前仅支持使用Hive语法创建OBS表和使用hive语法的DLI Lakehouse表。 使用Hive语法创建OBS表 defalut方言: with 属性中需要设置hive.is-external为true。
图10 生成Jar包 登录OBS控制台,将生成的Jar包文件上传到OBS路径下。 Jar包文件上传的OBS桶所在的区域需与DLI的队列区域相同,不可跨区域执行操作。 (可选)可以将Jar包文件上传到DLI的程序包管理中,方便后续统一管理。
图1 归档日志 在OBS目录下,获取归档日志文件夹,详细如下。 Spark SQL作业: 查看带有“driver”或者为“container_xxx_000001”的日志文件夹则为需要查看的Driver日志目录。
部分字段更新 create table h0(id int, comb int, name string, price int) using hudi options(primaryKey = 'id', preCombineField = 'comb') LOCATION 'obs
OBS桶:选择保存作业日志的OBS桶,根据提示进行OBS桶权限授权。 开启Checkpoint:勾选。 Flink作业编辑框中输入具体的作业SQL,本示例作业参考如下。具体加粗的参数需要根据实际情况修改。
注意事项 导入OBS表时,创建OBS表时指定的路径必须是文件夹,若建表路径是文件将导致导入数据失败。 仅支持导入位于OBS路径上的原始数据。 不建议对同一张表并发导入数据,因为有一定概率发生并发冲突,导致导入失败。 导入数据时只能指定一个路径,路径中不能包含逗号。
CREATE TABLE orders ( orderkey bigint, orderstatus varchar, totalprice double, orderdate date ) WITH (format = 'ORC', location='obs
创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。
支持 支持 修改表的分区名 ALTER TABLE testDB.testTable2 PARTITION ( dt='20240101') RENAME TO PARTITION ( dt='20240103'); 只支持OBS表的分区名,且OBS上的文件存储路径不会变。
show_table1 owner admintest location obs
在DLI管理控制台的左侧导航栏中,单击数据管理>“程序包管理”,然后单击创建,并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中,单击作业管理>“Flink作业”,在需要编辑作业对应的“操作”列中,单击“编辑”,进入作业编辑页面。
如obs://xx/xx table.type 是 COPY_ON_WRITE String Hudi表类型。
resource Oracle驱动包的OBS路径。 例如:obs://rest-authinfo/tools/oracle/driver/ojdbc6.jar resource中定义的driver jar包如果被更新,需要重启队列,才会生效。
详细操作说明请参考使用Flink Jar写入数据到OBS开发指南。
参数 表1 INSERT OVERWRITE DIRECTORY参数描述 参数 描述 path 要将查询结果写入的OBS路径。 file_format 写入的文件格式,支持按CSV、Parquet、ORC、JSON、Avro格式。
监控安全风险 云监控服务为用户的云上资源提供了立体化监控平台。通过云监控您可以全面了解云上的资源使用情况、业务的运行状况,并及时收到异常告警做出反应,保证业务顺畅运行。 DLI服务提供基于云监控服务CES的资源监控能力 DLI已对接云监控服务,提供基于云监控服务的资源监控能力,帮助用户监控账号下的
示例 参考创建OBS表或者创建DLI表中的示例描述创建对应的表。 查看当前所在数据库中的所有表与视图。 1 SHOW TABLES; 查看testdb数据库下所有以test开头的表。 1 SHOW TABLES IN testdb LIKE "test*"; 父主题: 查看表