检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
待赋权,回收或更新的权限列表。具体支持的权限列表详细可以参考数据权限列表。示例值:["SELECT"]。 说明: 若“action”为“update”,更新列表为空,则表示回收用户在该数据库或表的所有权限。 响应消息 表4 响应参数 参数名称 是否必选 参数类型 说明 is_success
怎样查看DLI SQL日志? 怎样查看DLI的执行SQL记录? 执行SQL作业时产生数据倾斜怎么办? SQL作业中存在join操作,因为自动广播导致内存不足,作业一直运行中 为什么SQL作业一直处于“提交中”? 父主题: SQL作业类
"ip":"192.168.0.1", "name":"ecs-97f8-0001" }, { "ip":"192.168.0.2", "name":"ecs-97f8-0002" } ] } 状态码 状态码如表7所示。
small.file.limit配置来设置最小文件大小。用户可以将该配置设置为“0”,以强制新数据写入新的文件组,或设置为更高的值以确保新数据被“填充”到现有小的文件组中,直到达到指定大小为止,但其会增加摄取延迟。 为能够支持快速摄取的同时不影响查询性能,引入了Clustering服务来
创建队列定时扩缩容计划(废弃) 功能介绍 该API用于创建队列定时扩缩容计划,对指定的队列创建定时规格变更计划。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v1/{project_id}/queues/{queue_name}/plans
Flink SQL作业类 怎样将OBS表映射为DLI的分区表? Flink SQL作业Kafka分区数增加或减少,怎样不停止Flink作业实现动态感知? 在Flink SQL作业中创建表使用EL表达式,作业运行提示DLI.0005错误怎么办? Flink作业输出流写入数据到OBS
iver节点的内存不足,并触发频繁的Full GC。 在这种情况下,可以配置该参数为false即禁用动态分区修剪优化,有助于减少内存使用,避免内存溢出和频繁的Full GC。 但禁用此优化可能会降低查询性能,禁用后Spark将不会自动修剪掉那些不满足条件的分区。 更多属性参数配置请参考DLI
时间戳 total_records_updated 该文件中多少个record被更新 total_records_written 该文件中新插入了多少个record total_bytes_written 该文件新增多少bytes的数据 total_errors 指定的instant在更新或者插入过程中的报错
应用能以exactly-once的语义投递每条变更事件。在这种情况下,Flink 消费 Debezium 产生的变更事件能够工作得很好。 当发生故障时,Debezium应用只能保证at-least-once的投递语义。即在非正常情况下,Debezium可能会投递重复的变更事件到Kafka中,当Fli
查看队列定时扩缩容计划(废弃) 功能介绍 该API用于查看队列定时扩缩容计划,列出指定队列定时规格变更计划。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1/{project_id}/queues/{queue_name}/plans
指定修改网段的队列名称。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 cidr_in_vpc 否 String 队列虚拟私有云网段。 不同CU规格队列支持的网段范围: 16cu: 10.0.0.0/8 ~ 10.255.255.0/24 172.16.0.0/12 ~ 172.31.255
怎样升级DLI作业的引擎版本 DLI提供了Spark和Flink计算引擎,为用户提供了一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务,当前,Flink计算引擎推荐版本:Flink 1.15,Spark计算引擎推荐版本: Spark 3.3.1。 本节操作介绍如何升级作业的引擎版本。
以Asia/Shanghai时区的 -2209017600 为例,返回值为1900-01-01 00:00:00。 Spark3.3.x: 以Asia/Shanghai时区的 -2209017943 为例,返回值为 1900-01-01 00:00:00。 升级引擎版本后是否对作业有影响: 有影响,需要检查使用该函数的场景。
读取数据时,每一批次获取数据的记录数,默认值1000。设置越大性能越好,但占用内存越多,该值设置过大会有内存溢出的风险。 batchsize 写入数据时,每一批次写入数据的记录数,默认值1000。设置越大性能越好,但占用内存越多,该值设置过大会有内存溢出的风险。 truncate 执行overwrite
如果当前Spark组件版本为2.3.2,则不填写该参数。 如果当前Spark组件版本为2.3.3,则在“feature”为“basic”或“ai”时填写。若不填写,则使用默认的Spark组件版本号2.3.2。 image String 自定义镜像。格式为:组织名/镜像名:镜像版本。
行。 规格(包周期CU):购买弹性资源池时选择的CU范围的最小值即弹性资源池规格。规格是包周期弹性资源池特有的。规格部分以包周期的计费,规格之外的部分按需计费。 数据库 数据库即按照数据结构来组织、存储和管理数据的仓库。DLI服务管理权限的基础单元是数据库,赋权以数据库为单位。
下拉选择需要使用的队列。如果没有可用队列,此处显示“default”队列,default队列为体验使用,建议重新创建队列。具体队列创建可以参考创建弹性资源池并添加队列。 SQL作业只能在队列类型为“SQL队列”下执行。 数据目录 数据目录(Catalog)是元数据管理对象,它可以包含多个数据库。
QUOTECHAR:可以在导入命令中指定引号字符。默认值为"。 配置项为OPTIONS('QUOTECHAR'='"') COMMENTCHAR:可以在导入命令中指定注释字符。在导入操作期间,如果在行的开头遇到注释字符,那么该行将被视为注释,并且不会被导入。默认值为#。 配置项为OPTIONS('COMMENTCHAR'='#')
REVOKE_PRIVILEGE:权限回收 SHOW_PRIVILEGES:查看其它用户具备的权限 RESTART:重启队列 SCALE_QUEUE:规格变更 说明: 若需更新的权限列表为空,则表示回收用户在该队列的所有权限。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success
读取数据时,每一批次获取数据的记录数,默认值1000。设置越大性能越好,但占用内存越多,该值设置过大会有内存溢出的风险。 batchsize 写入数据时,每一批次写入数据的记录数,默认值1000。设置越大性能越好,但占用内存越多,该值设置过大会有内存溢出的风险。 truncate 执行overwrite