检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
插入数据至DCS表 功能描述 INSERT INTO命令将DLI表中的数据插入到已关联的DCS Key中。 语法格式 将SELECT查询结果插入到表中: 1 2 3 4 5 6 7 INSERT INTO DLI_TABLE SELECT field1,field2...
数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。 语法格式 1 2 ALTER TABLE [db_name.]table_name SET TBLPROPERTIES ("dli.multi.version
parse_url('http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1', 'QUERY', 'k1') 返回'v1'。 命令格式 parse_url(string urlString, string partToExtract [, string keyToExtract])
如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式 1 2 3 4 5 6 7 8 9 10 create table dwsSource ( attr_name attr_type
增强型跨源 ”。 选择待修改的增强型跨源连接,单击操作列的“更多 > 修改主机信息”。 在修改主机信息对话框中,填写已获取的主机信息。 主机信息格式:hostIP hostName。多个主机信息以换行分隔。 样例: 192.168.0.22 node-masterxxx1.com 192
connector用于将用户输出的数据打印到error文件或者taskmanager的out文件中,方便用户查看,主要用于代码调试,查看输出结果。 语法格式 1 2 3 4 5 6 7 create table printSink ( attr_name attr_type (',' attr_name
如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12 13 create table jdbcSink ( attr_name
窗口函数的使用限制如下: 窗口函数只能出现在select语句中。 窗口函数中不能嵌套使用窗口函数和聚合函数。 窗口函数不能和同级别的聚合函数一起使用。 命令格式 row_number() over([partition_clause] [orderby_clause]) 参数说明 表1 参数说明 参数
明。 使用Spark-submit提交Spark作业 进入工具文件bin目录,执行spark-submit命令,并携带相关参数。 命令执行格式: spark-submit [options] <app jar | python file> [app arguments] 表2 DLI
order01 INCLUDING PROPERTIES; 创建表orders_like02,它将包含表order02定义的列,并将表的存储格式设置为‘TEXTFILE’ CREATE TABLE orders_like02 like order02 STORED AS TEXTFILE;
SQL作业创建指导可以参考https://support.huaweicloud.com/usermanual-dli/dli_01_0498.html。 语法格式 create table userDefinedSink ( attr_name attr_type (',' attr_name
窗口函数的使用限制如下: 窗口函数只能出现在select语句中。 窗口函数中不能嵌套使用窗口函数和聚合函数。 窗口函数不能和同级别的聚合函数一起使用。 命令格式 cume_dist() over([partition_clause] [orderby_clause]) 参数说明 表1 参数说明 参数
OVER 功能描述 窗口函数与OVER语句一起使用。OVER语句用于对数据进行分组,并对组内元素进行排序。窗口函数用于给组内的值生成序号。 语法格式 1 2 3 4 5 SELECT window_func(args) OVER ([PARTITION BY col_name, col_name
5版适用的函数:regexp_replace1函数支持指定occurrence,但是regexp_replace函数不支持指定occurrence。 命令格式 spark2.4.5及以前版本 regexp_replace(string <source>, string <pattern>, string
如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式 create table hbaseSource ( attr_name attr_type (',' attr_name attr_type)*
如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式 create table jbdcSource ( attr_name attr_type (',' attr_name attr_type)*
如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式 create table hbaseSink ( attr_name attr_type (',' attr_name attr_type)*
Kafka待迁移的Topic名称,支持单个或多个Topic。当前示例为:kafkatopic。 数据格式 根据实际情况选择当前消息格式。本示例选择为:CDC(DRS_JSON),以DRS_JSON格式解析源数据。 偏移量参数 从Kafka拉取数据时的初始偏移量。本示例当前选择为:最新。 最新:最大偏移量,即拉取最新的数据。
Append模式:Flink 会将所有记录解释为INSERT消息,如果底层数据库发生主键或唯一约束违规,INSERT操作可能会失败。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12 13 create table jdbcSink ( attr_name
提供Flink作业程序开发的样例指导。 使用Flink Jar写入数据到OBS 提供Flink如果将数据处理后写入到OBS的样例代码。 Flink作业相关API 提供Flink相关API的使用说明。