检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
krb5_conf 否 String krb5配置文件obs路径。 keytab 否 String keytab配置文件obs路径。 truststore_location 否 String truststore配置文件obs路径。 truststore_password 否 String
Array of Strings 角色。 目前只支持:obs_adm、dis_adm、ctable_adm、vpc_netadm、smn_adm、te_admin。 具体含义如下: obs_adm:DLI获得访问和使用OBS的委托权限。 dis_adm:访问和使用DIS数据源,需
2、TLS1.3进行传输中加密,所有华为云DLI服务的API调用都支持 HTTPS 来对传输中的数据进行加密。 Spark作业传输通信加密 Spark作业支持通过配置表1中的参数开启通信加密。 请确保已上传密钥和证书到指定的OBS路径下,并在作业配置中的其他依赖文件中引入。 表1
开启和关闭多版本功能SQL语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。 语法格式 1 2 ALTER TABLE [db_name.]table_name SET TBLPROPERTIES
开启和关闭多版本功能SQL语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。 语法格式 1 2 ALTER TABLE [db_name.]table_name SET TBLPROPERTIES
DIS输出流 DMS输出流 DWS输出流(通过JDBC方式) DWS输出流(通过OBS转储方式) MRS HBase输出流 MRS Kafka输出流 开源Kafka输出流 文件系统输出流(推荐) OBS输出流 RDS输出流 SMN输出流 父主题: Flink SQL语法参考(不再演进,推荐使用Flink
请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 paths 是 Array of Strings 用户OBS对象路径列表,OBS对象路径为OBS对象URL。 group 是 String 所属资源分组名。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明
请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 paths 是 Array of Strings 用户OBS对象路径列表,OBS对象路径为OBS对象URL。 group 是 String 所属资源分组名。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明
登录DLI控制台,单击“作业管理 > SQL作业”。 在SQL作业页面,在对应作业的“操作”列,单击“更多 > 归档日志”。 图1 归档日志 在OBS目录下,获取归档日志文件夹,详细如下。 Spark SQL作业: 查看带有“driver”或者为“container_xxx_000001
OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 数据类型的使用,请参考Format章节。 语法格式 1 2 3 4 5 6 7 create table dataGenSource(
请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 paths 是 Array of strings 用户OBS对象路径列表,OBS对象路径为OBS对象URL。 group 是 String 所属资源分组名。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明
15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 数据类型的使用,请参考Format章节。 Hive 方言支持的 DDL 语句,Flink 1.15 当前仅支持使用Hive语法创建OBS表和使用hive语法的DLI Lakehouse表。 使用Hive语法创建OBS表 defalut方言:
SQL作业类 怎样将OBS表映射为DLI的分区表? Flink SQL作业Kafka分区数增加或减少,怎样不停止Flink作业实现动态感知? 在Flink SQL作业中创建表使用EL表达式,作业运行提示DLI.0005错误怎么办? Flink作业输出流写入数据到OBS,通过该OBS文件路径创建的DLI表查询无数据
设置是否将作业运行时的日志信息保存到OBS桶。 勾选“保存作业日志”时,还需要诶之OBS桶信息。 注意: 该参数建议勾选,否则作业运行完成后不会生成运行日志,后续如果作业运行异常则无法获取运行日志进行定位。 OBS桶 勾选“保存作业日志”时,该参数必选。 选择OBS桶用于保存用户作业日志信息
DMS输出流 DWS输出流(通过JDBC方式) DWS输出流(通过OBS转储方式) EdgeHub输出流(EOS) MRS HBase输出流 MRS Kafka输出流 开源Kafka输出流 文件系统输出流(推荐) OBS输出流 RDS输出流 SMN输出流 父主题: Flink SQL语法参考(不再演进,推荐使用Flink
“EXTERNAL”:OBS表。 “VIEW”:VIEW视图。 data_type 否 String 数据类型,包括“csv”,“parquet”,“orc”,“json”和“avro”。 data_location 否 String 数据存储的路径,为OBS路径。 storage_properties
table_name。 user Oracle用户名。 password Oracle用户名密码。 resource Oracle驱动包的OBS路径。 例如:obs://rest-authinfo/tools/oracle/driver/ojdbc6.jar resource中定义的driver
再进行查看,详细请参见导出查询结果。 当前接口已废弃,不推荐使用。 URI URI格式: GET/v1.0/{project_id}/jobs/{job_id}?page-size={size}¤t-page={page_number}&queue-name={queue_name}
行作业。 注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE TABLE kafkaSource ( target
table_name。 user Oracle用户名。 password Oracle用户名密码。 resource Oracle驱动包的OBS路径。 例如:obs://rest-authinfo/tools/oracle/driver/ojdbc6.jar resource中定义的driver