检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新建Flink Jar作业 功能介绍 该API用于创建用户自定义的作业,目前支持jar格式,运行在独享队列中。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project_id}/streaming/flink-jobs 参数说明
status.getName()); } 在提交导入作业前,可选择设置导入数据的格式,如样例所示,调用ImportJob对象的setStorageType接口设置数据存储类型为csv,数据的具体格式通过调用ImportJob对象的setCsvFormatInfo接口进行设置。 在
DATE或STRING 需要处理的日期。 格式: yyyy-mm-dd yyyy-mm-dd hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 format 是 STRING 代表需要转换的目标日期格式。 format:格式为代表年月日时分秒的时间单位与任意字符的组合,其中:
bin bin函数用于返回a的二进制格式。 命令格式 bin(BIGINT a) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式为整数格式。 参数a非BIGINT类型时,会隐式转换为BIGINT类型后参与运算。
SQL作业创建指导可以参考https://support.huaweicloud.com/usermanual-dli/dli_01_0498.html。 语法格式 create table userDefinedSink ( attr_name attr_type (',' attr_name
"obs://DLI-demo/data/JData_Action"); 执行查询 常用查询语句可以设置为模板,下次查询的时候在模板管理页面可以查看,具体操作可参见《数据湖探索用户指南》中的《模板管理》。 分析出10大用户点赞数最多的产品 执行以下SQL语句,可以分析出10大用户点赞数最多的产品。
compression 否 指定压缩格式。一般为parquet格式时指定该参数,推荐使用'zstd'压缩格式。 - 示例1:创建DLI非分区表 示例说明:创建名为table1的DLI非分区表,使用USING关键字指定该表的存储格式为orc格式。 在您的实际使用中,还可以将DLI表存储为parquet类型。
BY:指定分区字段。 ROW FORMAT:行数据格式。 STORED AS:指定所存储的文件格式,当前该关键字只支持指定TEXTFILE, AVRO, ORC, SEQUENCEFILE, RCFILE, PARQUET几种格式。创建DLI表时必须指定此关键字。 TBLPROP
默认值:false compression 否 指定压缩格式。一般为parquet格式时指定该参数,推荐使用'zstd'压缩格式。 当file_format为csv时,支持设置以下OPTIONS参数。 表3 CSV数据格式OPTIONS参数说明 参数 是否必选 描述 delimiter
PARTITIONED BY:指定分区字段。 ROW FORMAT:行数据格式。 STORED AS:指定所存储的文件格式,当前该关键字只支持指定TEXTFILE, AVRO, ORC, SEQUENCEFILE, RCFILE, PARQUET格式。 LOCATION:指定OBS的路径。创建OBS表时必须指定此关键字。
图2 导出数据 表1 参数说明 参数名称 描述 数据库 当前表所在的数据库。 表名称 当前表名称。 数据格式 导出数据的文件格式。当前只支持json格式。 队列 选择队列。 压缩格式 导出数据的压缩方式,选择如下压缩方式。 none bzip2 deflate gzip 存储路径 输入或选择OBS路径。
用技巧等说明。 Spark SQL作业管理 提供Spark SQL作业管理界面功能介绍。 Spark SQL模板管理 DLI支持定制模板或将正在使用的SQL语句保存为模板,便捷快速的执行SQL操作。 开发指导 Spark SQL语法参考 提供Spark SQL数据库、表、分区、导
hex函数用于将整数或字符转换为十六进制格式。 命令格式 hex(BIGINT a) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式包括浮点数格式、整数格式、字符串格式。 参数a非BIGINT类型
AL或DATETIME类型,会隐式转换为STRING类型后参与运算 格式为任意字符串。 format 是 STRING 代表需要转换的目标日期格式。 STRING类型常量,不支持日期扩展格式。 format:格式为代表年月日时分秒的时间单位与任意字符的组合,其中: yyyy代表年份。
字符码不一致导致数据乱码怎么办? 在DLI执行作业时,为了避免因字符编码不一致导致的乱码问题,建议您统一数据源的编码格式。 DLI服务只支持UTF-8文本格式,因此在执行创建表和导入操作时,用户的数据需要以UTF-8编码。 在将数据导入DLI之前,确保源数据文件(如CSV、JSO
printf printf函数用于将输入按特定格式打印输出。 命令格式 printf(String format, Obj... args) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 format 是 STRING 用于定义输出格式 Obj 否 STRING 其他输入参数。
getBatchJobLog - GET /v2.0/{project_id}/batches/{batch_id}/log Flink作业模板相关 表7 Flink作业模板相关API&SDK的对应关系表 Class Java Method Python Method API Template c
url_encode url_endcode函数用于将字符串编码为application/x-www-form-urlencoded MIME格式。 命令格式 url_encode(string <input>[, string <encoding>]) 参数说明 表1 参数说明 参数 是否必选
url_decode url_decode函数用于将字符串从application/x-www-form-urlencoded MIME格式转为常规字符。 命令格式 url_decode(string <input>[, string <encoding>]) 参数说明 表1 参数说明 参数
分类 文档 说明 界面操作 Flink作业管理 提供Flink作业管理界面功能介绍。 Flink模板管理 提供Flink作业样例模板和自定义模板功能介绍。您可以根据习惯和业务需要自定义作业模板,方便后续创建提交作业。 开发指南 Flink SQL语法参考 提供Flink OpenSource