检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
拥有以下权限:勾选2中创建的权限策略。 或者勾选系统角色“DLI Service Administrator”(权限较大,拥有DLI所有权限)也可以实现Flink作业的查看。 父主题: Flink作业咨询类
(废弃,不推荐使用)DLI服务的DWS Connector:支持自定义sink和source函数,允许用户根据具体需求实现相应的sink或source函数,以实现特定的数据读写逻辑。 DLI提供的DWS Connector使用方法请参考表1 表1 DWS Connector支持类别
场景举例 生效机制 操作影响 场景一 修改了原有程序包类的实现逻辑,重新创建的函数指定的JAR包名和类名保持和原有一致。 在Spark SQL队列下已创建自定义函数F1,指定类名C1,Jar包名J1。 后续对J1包中函数实现做了逻辑修改,重新执行创建函数F2,指定类名C1,Jar包名J1。
2026年6月30日 更多版本支持信息请参考DLI计算引擎版本生命周期。 Flink 1.15版本说明 Flink 1.15版本在语法设计上实现了更高的兼容性,与主流开源技术标准保持一致。 Flink 1.15版本新增读写Hive、Hudi等Connector。 Flink 1.1
CREATE VIEW语句 功能描述 根据给定的 query 语句创建一个视图。如果数据库中已经存在同名视图会抛出异常。 语法定义 CREATE [TEMPORARY] VIEW [IF NOT EXISTS] [catalog_name.][db_name.]view_name
DROP VIEW 语法 DROP VIEW [ IF EXISTS ] view_name 描述 删除存在的视图,可选参数IF EXISTS指定时,如果删除的视图不存在,则不会报错。 示例 创建视图 create view orders_by_date as select * from
dli.sql.dynamicPartitionOverwrite.enabled=true,然后通过insert overwrite语句实现。 “dli.sql.dynamicPartitionOverwrite.enabled”默认值为“false”,在不配置时它会覆盖整张表的数据。
x的格式,可以通过设置spark.sql.legacy.nullValueWrittenAsQuotedEmptyStringCsv为 true来实现。 升级引擎版本后是否对作业有影响: 有影响,导出orc文件中null值存储形式不同。 示例代码: 准备数据: create table test_null(id
CREATE VIEW语句 语法定义 CREATE VIEW [IF NOT EXISTS] view_name [{columnName [, columnName ]* }] [COMMENT view_comment] AS query_expression 功能描述
问所有Flink和Spark支持的数据源与输出源,如Kafka、Hbase、ElasticSearch等。 自拓展生态 用户可通过编写代码实现从想要的云生态或者开源生态获取数据,作为Flink作业的输入数据。 DLI Flink Connector支持列表请参考Connector概述。
个统一的IPv6地址。 对于IPv4的支持,是通过将IPv4映射到IPv6的取值范围(RFC 4291#section-2.5.5.2)来实现的。当创建一个IPv4时,会被映射到IPv6。当格式化时,如果数据是IPv4又会被重新映射为IPv4。 其他的地址则会按照RFC 5952所定义的规范格式来进行格式化。
(property_name=property_value, property_name=property_value, ...)]可利用以下语句实现NULL值转换为空字符串。 ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
Flink SQL作业类 怎样将OBS表映射为DLI的分区表? Flink SQL作业Kafka分区数增加或减少,怎样不停止Flink作业实现动态感知? 在Flink SQL作业中创建表使用EL表达式,作业运行提示DLI.0005错误怎么办? Flink作业输出流写入数据到OBS
对等连接ID:增强型跨源在该队列所在集群中创建的对等连接ID。 每一个增强型跨源对每一个绑定的队列都会创建一个对等连接。该对等连接用于实现跨VPC通信,请确保数据源使用的安全组开放了DLI队列网段的访问,并且在使用跨源过程中不要删除该对等连接。 对等连接的连接状态: 跨源连接
huaweicompany.udf.UdfScalarFunction'; UDF UDF函数需继承ScalarFunction函数,并实现eval方法。open函数及close函数可选。 编写代码示例 import org.apache.flink.table.functions
SHOW CREATE VIEW 语法 SHOW CREATE VIEW view_name 描述 显示指定数据视图的SQL创建语句。 示例 显示能够创建order_view视图的SQL语句: SHOW CREATE VIEW test_view; Create
语法来创建临时表,通过该表存储临时数据,结束事务或者会话后该表数据自动清除。当前DLI是否支持该功能? 解决措施:当前DLI不支持创建临时表功能,只能根据当前业务逻辑控制来实现相同功能。DLI支持的SQL语法可以参考创建DLI表。 可以本地连接DLI吗?支持远程工具连接吗? 暂不支持。请在控制台提交作业。 详细操作请参考数据湖探索快速入门。
SHOW VIEWS 语法 SHOW VIEWS [IN/FROM database_name] [ LIKE pattern [ESCAPE escapeChar] ] 描述 列举指定Schema中所有满足条件的视图。 默认使用当前Schema,也可以通过in/from子句来指定Schema。
中将scope设为provided 日志配置文件(例如l:“log4j.properties”或者“logback.xml”等) 日志输出实现类JAR包(例如:log4j等) 在此基础上,taskmanager.log会随日志文件大小和时间滚动。 父主题: Flink作业性能调优类
临时数据,例如:作业日志等。 如果不创建该桶,将无法查看作业日志。桶名称为系统默认。 在OBS管理控制台页面通过配置桶的生命周期规则,可以实现定时删除OBS桶中的对象或者定时转换对象的存储类别。 具体操作请参考通过配置生命周期规则。 SQL编辑器页面可以批量执行SQL语句。 作业编辑窗口常用语法采用不同颜色突出显示。