检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DLI的跨源认证管理数据源访问凭证 跨源认证概述 创建CSS类型跨源认证 创建Kerberos跨源认证 创建Kafka_SSL类型跨源认证 创建Password类型跨源认证 跨源认证权限管理 父主题: 配置DLI读写外部数据源数据
谓词和一个限制了双方时间的 join 条件。 例如使用两个适当的范围谓词(<, <=, >=, >),一个 BETWEEN 谓词或一个比较两个输入表中相同类型的时间属性(即处理时间和事件时间)的相等谓词 比如,以下谓词是合法的窗口 join 条件: ltime = rtime ltime >= rtime
谓词和一个限制了双方时间的 join 条件。 例如使用两个适当的范围谓词(<, <=, >=, >),一个 BETWEEN 谓词或一个比较两个输入表中相同类型的时间属性(即处理时间和事件时间)的相等谓词 比如,以下谓词是合法的窗口 join 条件: ltime = rtime ltime >= rtime
持CHAR类型。 FIELDS TERMINATED BY指定表中字段级别的分隔符,仅支持CHAR类型。 COLLECTION ITEMS TERMINATED BY指定集合级别的分隔符,仅支持CHAR类型 MAP KEY TERMINATED BY仅用于指定MAP类型中的key
您可以从连接日志判断是否是队列与数据源网段冲突。 如图3所示,即当前队列A网段与其他队列B网段冲突,且队列B已经建立了与数据源C的增强型跨源连接。因此提示队列A与数据源C的网段冲突,无法建立新的增强型跨源连接。 解决措施:修改队列网段或重建队列。 建议创建队列时就规划好网段划分,否则冲突后只能修改队列网段或重建队列。
创建弹性资源池 查询所有弹性资源池 删除弹性资源池 修改弹性资源池信息 查询弹性资源池下所有队列 关联队列到弹性资源池 弹性资源池扩缩容历史记录 修改弹性资源池关联队列的扩缩容策略
修改普通队列的网段 使用增强型跨源时,如果DLI队列的网段和用户数据源的网段发生冲突,您可以通过修改网段操作更改包年包月队列的网段。 如果待修改网段的队列中有正在提交或正在运行的作业,或者该队列已经绑定了增强型跨源,将不支持修改网段操作。 本节操作仅适用于普通队列,不适用于弹性资源池队列。
Flink作业重启后,如何判断是否可以从checkpoint恢复 DLI Flink作业提交运行后(已选择保存作业日志到OBS桶),提交运行失败的情形(例如:jar包冲突),有时日志不会写到OBS桶中 Jobmanager与Taskmanager心跳超时,导致Flink作业异常怎么办? 父主题: Flink作业类
字符串函数 字符串函数概览 ascii concat concat_ws char_matchcount encode find_in_set get_json_object instr instr1 initcap keyvalue length lengthb levenshtein
first_value(col) 参数的数据类型 返回结果集中某列第一条数据的值。 last_value last_value(col) 参数的数据类型 返回结果集中某列最后一条数据的值。 lag lag (col,n,DEFAULT) 参数的数据类型 用于统计窗口内往上第n行值。第一个
请排查在同一时间点是否还有另外作业对当前报错作业操作的表信息有删除操作。 DLI不允许同时有多个作业在同一时间点对相同表进行读写操作,否则会造成作业冲突,导致作业运行失败。 父主题: SQL作业运维类
SQL语法可以参考使用Hive语法创建OBS表。 语法格式 1 2 ALTER TABLE [db_name.]table_name SET TBLPROPERTIES ("dli.multi.version.trash.dir"="obs桶多版本回收站目录"); 关键字 T
关键字,用于判断是否存在一个不为空的集合,若exists后面跟的为子查询,子查询中须包含逻辑判断条件。 in 关键字,用于判断属性是否在一个集合中。 attrs_value_set_expr 属性值集合。 attr_expr 属性表达式。 父主题: 标示符
insert.mode = upsert strict模式,Insert 语句将保留 COW 表的主键唯一性约束,不允许重复记录。如果在插入过程中已经存在记录,则会为COW表执行 HoodieDuplicateKeyException;对于MOR表,该模式与upsert模式行为一致。
登录DLI管理控制台,选择“队列管理”,在队列管理界面查看是否有“SQL队列”类型的队列。 是,执行3。 否,执行2购买“SQL队列”类型的队列。 选择“资源管理 > 弹性资源池”,选择已购买的弹性资源池,单击操作列的“添加队列”,其中队列类型选择“SQL队列”,选择其他参数后提交创建。 在CDM侧重
域中? SQL作业如何指定表的部分字段进行表数据的插入 SQL作业运行慢如何定位 怎样查看DLI SQL日志? 怎样查看DLI的执行SQL记录? 执行SQL作业时产生数据倾斜怎么办? SQL作业中存在join操作,因为自动广播导致内存不足,作业一直运行中 为什么SQL作业一直处于“提交中”?
将CSV格式的数据上传到对象存储服务OBS,使用DLI将CSV数据转换为Parquet数据,并将转换后的Parquet数据存储到OBS中。 图1 方案简介 流程指导 使用DLI将CSV数据转换为Parquet数据主要包括以下步骤: 步骤1:创建并上传数据。将数据上传到对象存储服务OBS。
步骤1:配置YongHong BI新建DLI数据连接 启动YongHong BI。 在YongHong BI界面的单击“添加数据源”。 在“选择数据源类型”页面中选择数据源类型为“GENERIC”。 添加数据源的相关配置,请参见图1。 驱动:上传下载的DLI JDBC驱动。 URL:后面填写DLI jd
中存储的数据。详情可参考Flink Doris Connector 只能对Unique Key模型的表进行修改和删除操作。 表1 支持类别 类别 详情 支持表类型 源表、维表、结果表 父主题: Doris
达式支持内置函数,自定义函数等。 示例 先利用substr函数取字段name的子字符串,并按照该子字符串进行分组,返回每个子字符串及对应的记录数。 1 2 SELECT substr(name,6),count(name) FROM student GROUP BY substr(name