检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
KEY 主键用作 Flink 优化的一种提示信息。主键限制表明一张表或视图的某个(些)列是唯一的并且不包含 Null 值。 主键声明的列都是非 nullable 的。因此主键可以被用作表行级别的唯一标识。 主键可以和列的定义一起声明,也可以独立声明为表的限制属性,不管是哪种方式,主键都不可以重复定义,否则
KEY 主键用作 Flink 优化的一种提示信息。主键限制表明一张表或视图的某个(些)列是唯一的并且不包含 Null 值。 主键声明的列都是非 nullable 的。因此主键可以被用作表行级别的唯一标识。 主键可以和列的定义一起声明,也可以独立声明为表的限制属性,不管是哪种方式,主键都不可以重复定义,否则
仅Hive数据源的Catalog支持视图的列描述。 在HetuEngine中创建的视图,视图的定义以编码方式存储在数据源里。在数据源可以查询到该视图,但无法对该视图执行操作。 视图是只读的,不可对它执行LOAD、INSERT操作。 视图可以包含ORDER BY和LIMIT子句,如
描述 database_name Database名称,由字母、数字和下划线(_)组成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 obs_path Obs路径,表示Delta表的存储位置。 timestamp_expression 时间戳,不
向表中添加分区时,此表和分区列(建表时PARTITIONED BY指定的列)必须已存在,而所要添加的分区不能重复添加,否则将出错。已添加的分区可通过IF NOT EXISTS避免报错。 若分区表是按照多个字段进行分区的,添加分区时需要指定所有的分区字段,指定字段的顺序可任意。 “pa
运行该操作的作业的详细信息 notebook 运行操作的笔记的详细信息 clusterId 集群id readVersion 为执行写操作而读取的表的版本 isolationLevel 隔离级别 isBlindAppend 是否追加数据 operationMetrics 操作的度量(
Flink作业”,在对应的Flink作业所在行,操作列下单击“编辑”。 在“运行参数”下,查看“开启Checkpoint”参数是否开启。 图1 开启Checkpoint 确认Flink结果表的表结构和DLI分区表的表结构是否保持一致。如问题描述中car_infos_sink和car_infos表的字段是否一致。
时具备该全局变量修改权限的用户均可以修改对应的变量值。 删除全局变量 在“全局变量”页面,单击变量“操作”列中的“删除”,可删除对应的变量。 如果同账号同项目下存在多个相同名称的全局变量,优先删除用户自建的。如果仅存在唯一名称的全局变量,则具备删除权限即的用户均可删除该全局变量。
Spark作业访问OBS数据时报ResponseCode: 403和ResponseStatus: Forbidden错误 问题现象 Spark程序访问OBS数据时上报如下错误。 Caused by: com.obs.services.exception.ObsException:
RichParallelSourceFunction<Row>{},重点实现其中的open、run、close和cancel函数。实现完成后将该类编译打在jar中,通过sql编辑页的UDF Jar上传。 依赖的pom配置文件内容参考如下: <dependency> <groupId>org
pkg_saa_out_bound_monitor_p_saa_outbound_order_cust_sum 这个函数里面有delete 和 insert SAA_OUTBOUND_ORDER_CUST_SUM的操作。 处理步骤 修改作业逻辑,避免对同一张表并发执行insert overwrite操作。 父主题: 增强型跨源连接类
sqrt sqrt函数用于返回数值的平方根。 命令格式 sqrt(DOUBLE a) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式包括浮点数格式、整数格式、字符串格式。 参数a非DO
bin bin函数用于返回a的二进制格式。 命令格式 bin(BIGINT a) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式为整数格式。 参数a非BIGINT类型时,会隐式转换为BIGINT类型后参与运算。
Compaction调度的间隔应小于Compaction计划生成的间隔,例如1小时左右生成一个Compaction计划的话,执行Compaction计划的调度任务应该至少半小时调度一次。 Compaction作业配置的资源,vcore数至少要大于等于单个分区的桶数,vcore数与内存的比例应为1:4即1个vcore配4G内存。
default队列是系统预置的默认公共队列,主要用来体验产品功能。当多个用户通过该队列提交作业时,容易发生流控,从而导致作业提交失败。 解决方案 建议不要使用default队列提交作业,可以在DLI控制台新购买SQL队列来提交作业。 了解更多新建队列的操作指导请参考创建弹性资源池并添加队列。
hadoop.fs.obs.OBSIOException错误 问题现象 在DataArts Studio上运行DLI SQL脚本,执行结果的运行日志显示语句执行失败,错误信息为: DLI.0999: RuntimeException: org.apache.hadoop.fs.obs
登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。 进入对应日期的文件夹后,找到名字中包含“taskmanager”的文件夹进入,下载获取taskmanager.out文件查看结果日志。
只能为user-defined,表示使用自定义的sink。 connector.class-name 是 sink函数的全限定类名。sink类的具体实现可以参考前提条件说明。 connector.class-parameter 否 sink函数其构造函数的参数,只支持一个String类型的参数。 注意事项 connector
前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 新建作业模板 DLI提供新建Flink作业模板的接口。您可以使用该接口新建一个Flink作业模板。示例代码如下: 1 2 3 4 5 6 public static
在流计算模式,时间属性字段必须被指定为事件或处理时间属性。 在批计算模式,窗口表函数的时间属性字段必须是 TIMESTAMP 或 TIMESTAMP_LTZ 的类型。 TUMBLE 的返回值包括原始表的所有列和附加的三个用于指定窗口的列,分别是:“window_start”,“window_end”