检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。
16:10:06,0001,Alice,330106 按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。
登录DLI控制台,单击“作业管理 > SQL作业”。 在SQL作业页面,在对应作业的“操作”列,单击“更多 > 归档日志”。 图1 归档日志 在OBS目录下,获取归档日志文件夹,详细如下。 Spark SQL作业: 查看带有“driver”或者为“container_xxx_000001
OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 数据类型的使用,请参考Format章节。 语法格式 1 2 3 4 5 6 7 create table dataGenSource(
15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 数据类型的使用,请参考Format章节。 Hive 方言支持的 DDL 语句,Flink 1.15 当前仅支持使用Hive语法创建OBS表和使用hive语法的DLI Lakehouse表。 使用Hive语法创建OBS表 defalut方言:
保留期到期后,若您仍未支付账户欠款,那么DLI的按需资源都将被释放,数据无法恢复。 图1 按需计费DLI资源生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 处理欠费 欠费后需要及时充值,详细操作请参见账户充值。 若DLI的队列、弹性资源池等资源不再使用,您可以将他们删除,以免继续扣费。
money double ); 支持 支持 创建OBS表 create table if not exists testDB.testTable2( id int, age int, money double ) LOCATION 'obs://bucketName/filePath'
或处理时间(流处理)上。 HOP(time_attr, interval, interval) 定义一个跳跃的时间窗口(在 Table API 中称为滑动窗口)。 滑动窗口有一个固定的持续时间( 第二个 interval 参数 )以及一个滑动的间隔(第一个 interval 参数
行作业。 注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE TABLE kafkaSource ( target
采用计算值默认值为0。 由于浮点类型的数据在计算机中的存储方式的限制,在比较两个浮点类型的数据是否相等时,因存在精度问题,不能直接采用“a==b”的方式进行比较,建议使用“(a-b)的绝对值<=EPSILON”这种方式进行比较,EPSILON为允许的误差范围,一般为1.1920
int, name string, price int) using hudi options(primaryKey = 'id', preCombineField = 'comb') LOCATION 'obs://bucket/path/h0'; create table s0(id
实例。 配置高级设置:仅”全量指标创建”的方式支持该配置项,配置时建议开启无数据处理。即配置监控周期内无指标数据产生或指标数据不足时系统的处理方式。 告警通知的行动规则:建议开启告警通知的行动规则,确保告警时可以通过邮件或者短信等方式获取通知。配置时选择2中配置的告警行动规则。
值配置。 Spark SQL暂不支持查看列默认值信息,可以通过执行show create table SQL查看。 不支持默认缺省列的写入方式,写入时必须指定列名。 支持范围 当前仅支持int、bigint、float、double、decimal、string、date、tim
totalprice double, orderdate date ) WITH (format = 'ORC', location='obs://bucket/user',orc_compress='ZLIB',external=true, "auto.purge"=false);
Kit)是对DLI服务提供的REST API进行的作业提交的封装,以简化用户的开发工作。用户直接调用DLI SDK提供的接口函数即可实现使用提交DLI SQL和DLI Spark作业。 DLI支持的SDK分为SDK V3和DLI服务自行开发的SDK。 (推荐)DLI SDK V3:是根据定义API的YAML
数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 regex_expression 数据库下的表名称。 注意事项 无。 示例 参考创建OBS表或者创建DLI表中的示例描述创建对应的表。 查看当前所在数据库中的所有表与视图。 1 SHOW TABLES; 查看testdb数据库下所有以test开头的表。
area_id from hbaseSource; 按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。
15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource SQL使用DEW管理访问凭据 创建
OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 语法格式 create table hudiSource ( attr_name attr_type
column DLI列 databases.dbname.tables.tbname.columns.colname jobs DLI Flink作业 jobs.flink.jobid resource DLI程序包 resources.resourcename group DLI程序包组