检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
队列相关API(废弃) 修改队列网段(废弃) 创建队列定时扩缩容计划(废弃) 查看队列定时扩缩容计划(废弃) 批量删除队列定时扩缩容计划(废弃) 单个删除队列定时扩缩容计划(废弃) 修改队列定时扩缩容计划(废弃) 父主题: 历史API
管理DLI全局变量 什么是全局变量 DLI支持在管理控制台设置全局变量,将作业开发过程中频繁使用的变量设置为全局变量,可以避免在编辑作业过程中重复定义,减少开发与维护成本。通过使用全局变量可以替换长难复杂变量,简化复杂参数,提升SQL语句可读性。 本节操作为您介绍如何创建全局变量。
有访问OBS对应的桶的权限,但是Spark作业访问时报错 verifyBucketExists on XXXX: status [403] Spark作业运行大批量数据时上报作业运行超时异常错误 使用Spark作业访问sftp中的文件,作业运行失败,日志显示访问目录异常 执行作业的用户数据库和表权限不足导致作业运行失败
地理函数 函数说明 基本地理空间几何元素介绍说明如表1所示。 表1 基本地理空间几何元素表 地理空间几何元素(统称geometry) 说明 举例 ST_POINT(latitude, longitude) 地理点,包含经度和维度两个信息。 ST_POINT(1.12012, 1.23401)
stopFlinkJob(body); System.out.println(result); } 批量删除作业 DLI提供批量删除Flink作业的接口。您可以使用该接口批量删除任何状态的Flink作业。示例代码如下: 1 2 3 4 5 6 7 8 9 10
图2 续费管理 为包年/包月资源开通自动续费。 单个资源开通自动续费:选择需要开通自动续费的资源,单击操作列“更多 > 开通自动续费”。 批量资源开通自动续费:选择需要开通自动续费的资源,单击列表左上角的“更多 > 开通自动续费”。 选择续费时长,并根据需要设置自动续费次数,单击“开通”。
max-actions 否 批量写入时的每次最大写入记录数 connector.bulk-flush.max-size 否 批量写入时的最大数据量,当前只支持MB,请带上单位 mb connector.bulk-flush.interval 否 批量写入时的刷新的时间间隔,单位为milliseconds,无需带上单位
max-actions 否 批量写入时的每次最大写入记录数 connector.bulk-flush.max-size 否 批量写入时的最大数据量,当前只支持MB,请带上单位 mb connector.bulk-flush.interval 否 批量写入时的刷新的时间间隔,单位为milliseconds,无需带上单位
为什么已有View视图的select权限,但是查询不了View? 问题描述 用户A创建了表Table1。 用户B基于Table1创建了视图View1。 赋予用户C Table1的查询表权限后,用户C查询View失败。 根因分析 用户C查询View失败的原因是由于用户B不具备Table1的查询表权限。
在“创建定时任务”页面,设置参数。单击“确定”。 图1 创建定时任务 表1 参数说明 参数名称 描述 任务名称 输入定时任务的名称。 只能包含数字、英文字母和下划线,但不能是纯数字,不能以下划线开头,且不能为空。 输入长度不能超过128个字符。 激活任务 激活队列扩缩容定时任务。默认开启。如
启动作业,有以下两种方式: 启动单个作业 选择一个作业,在对应的“操作”列中,单击“启动”。 也可以在作业列表中,勾选一个作业,单击作业列表左上方的“启动”。 批量启动作业 勾选多个作业,单击作业列表左上方的“启动”,可以启动多个作业。 单击“启动”后,跳转至“作业配置清单”页面。 在“作业配置清单”
选择“增强型跨源”,单击“创建”。 配置增强型跨源连接信息,详细参数介绍请参见表1。 表1 参数说明 参数 参数说明 连接名称 所创建的跨源连接名称。 名称只能包含数字、英文字母、下划线。不能为空。 输入长度不能超过64个字符。 弹性资源池 可选参数,用于绑定使用跨源连接的弹性资源池或队列。 仅包周期和按需计费模式的专属队列支持绑定弹性资源池。
value]* [ { NULL | ABSENT } ON NULL ]) 从键值对列表构建JSON对象字符串。 请注意,键必须是非NULL字符串文字,而值可以是任意表达式。 函数返回一个JSON字符串。ON NULL行为定义了如何处理NULL值。如果省略,则默认为NULL ON NULL。
待提交作业的表的默认catalog。不填时默认使用DLI catalog。 queue_name 否 String 待提交作业的队列名称,名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 conf 否 Array of Strings 用户以“key/value”的形式设置用
) 或 USE CATALOG ...在 SQL 客户端中。 Hive 和 Flink SQL 具有不同的语法,例如不同的保留关键字和文字。确保视图的查询与 Flink 语法兼容。 示例 使用Spark SQL创建Hive语法OBS表,并插入10条数据。模拟数据源。 CREATE
近您业务的区域,可减少网络时延,提高访问速度。 项目 每个区域默认对应一个项目,这个项目由系统预置。 名称 队列的名称。 只能包含数字、英文字母和下划线,但不能是纯数字,不能以下划线开头,且不能为空。 输入长度不能超过128个字符。 说明: 队列名称不区分大小写,系统会自动转换为小写。
示例4:创建DLI非分区表,并自定义列字段数据类型 示例说明:创建名为table2的DLI非分区表,您可以根据业务需求自定义列子段的原生数据类型: 与文字字符有关可以使用STRING、CHAR或者VARCHAR。 与时间有关的可以使用TIMESTAMP、DATE。 与整数有关的可以使用INT
仅Spark引擎的SQL队列支持配置队列属性。 仅在队列创建完成后支持设置队列属性。 当前仅支持设置Spark driver相关队列属性。 不支持批量设置队列属性。 弹性资源池中的队列,当队列的最小CUs小于16CUs时,在队列属性中设置的“最大spark driver实例数”和“最大预拉起spark
示例4:创建DLI非分区表,并自定义列字段数据类型 示例说明:创建名为table2的DLI非分区表,您可以根据业务需求自定义列子段的原生数据类型: 与文字字符有关可以使用STRING、CHAR或者VARCHAR。 与时间有关的可以使用TIMESTAMP、DATE。 与整数有关的可以使用INT
interval 否 1s Duration 批量查找联接可以使用最大延迟来缓冲输入记录。批量查找联接可以使用最大延迟来缓冲输入记录。 lookup.batch.size 否 100L long 可以缓冲的最大输入记录数,以便进行批量查找联接。 lookup.batch 否 false