检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
VERSION：指定版本号。具体的版本号可以通过SHOW HISTORY命令获取，详情请参考查看多版本备份数据。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称，由字母、数字和下划线（_）组成。不能是纯数字，且不能以数字和下划线开头。 table_name 表名称。 column 分区列名。 value
单击“确定”，完成创建程序包。 创建UDAF函数。 登录登录DLI管理控制台，创建SQL队列和数据库。 登录DLI管理控制台，单击“SQL编辑器”，执行引擎选择“spark”，选择已创建的SQL队列和数据库。 在SQL编辑区域输入下列命令创建UDAF函数，单击“执行”提交创建。 如果该客户
跨源连接RDS表 创建DLI表关联RDS 插入数据至RDS表 查询RDS表 父主题： 跨源连接相关
在“创建数据集”页面中，左侧“数据源”栏选择已添加的DLI数据源，请参见图3。 图3 选择数据源 左侧“表”栏中点击右键，刷新表，将列出所有数据库及数据库下面的数据表（这是添加数据源时，“表结构模式”没有配置时的情况），请参见图4。 图4 刷新数据表 在左侧“SQL语句”栏中执行表查询命令”select
名和IP，可指定端口。 数据源地址支持以下输入格式：IPv4地址、IPv4+端口号、域名、域名+端口号。 · IPv4地址：192.168.x.x · IPv4+端口号：192.168.x.x:8080 · 域名：domain-xxxxxx.com · 域名+端口号：domain-xxxxxx
在创建表时通过TBLPROPERTIES指定表的生命周期。 非分区表 如果表是非分区表，根据每张表的最后修改时间，经过生命周期时间后判断是否要回收此表。 分区表 如果是分区表，则根据各分区的最后一次表数据被修改的时间（LAST_ACCESS_TIME）判断该分区是否该被回收。分区表的最后一个分区被回收后，该表不会被删除。
fail.the subnet could not be found."} 原因分析 DLI跨源连接需要使用VPC、子网、路由、对等连接、端口功能，因此需要获得VPC（虚拟私有云）的VPC Administrator权限。 客户未给VPC服务授权导致绑定队列失败。 处理步骤 登录DLI管理控制台，选择“全局配置
规则添加成功后，可以在“SQL防御”界面查看已添加的防御规则。防御规则动态生效。 如需对当前规则进行调整，可单击对应规则所在“操作”列的“修改”，修改SQL防御规则。 DLI支持的SQL防御系统规则 本节操作介绍DLI支持的系统防御规则，详细信息参考表2。 系统默认创建的规则是指在队
分区表相关 添加分区（只支持OBS表） 重命名分区（只支持OBS表） 删除分区 指定筛选条件删除分区（只支持OBS表） 修改表分区位置（只支持OBS表） 更新表分区信息（只支持OBS表） REFRESH TABLE刷新表元数据 父主题： Spark SQL语法参考（即将下线）
第二级key属性的列名。 cache_max_num 否 表示最大缓存的查询结果数，默认值为32768。 cache_time 否 表示数据库查询结果在内存中缓存的最大时间。单位为毫秒，默认值为10000，当值为0时表示不缓存。 注意事项 不支持Redis集群。 请务必确保您的账
使用Spark作业访问sftp中的文件，作业运行失败，日志显示访问目录异常 执行作业的用户数据库和表权限不足导致作业运行失败 为什么Spark3.x的作业日志中打印找不到global_temp数据库 在使用Spark2.3.x访问元数据时，DataSource语法创建avro类型的OBS表创建失败
None 服务介绍 数据湖探索 DLI 介绍什么是数据湖探索 02:47 数据湖探索DLI产品介绍 功能介绍 数据湖探索 DLI 熟悉数据湖探索控制台 03:10 数据湖探索控制台介绍 操作指导 数据湖探索 DLI 介绍怎样创建提交SQL作业 07:36 数据湖探索SQL作业入门指导
以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。 功能介绍 DLI用户可以通过可视化界面、Restful API、JDBC、Beeline等多种接入方式对云上CloudTable、RDS和DWS等异构数据源进行查询分
检测跨源连接的连通性时对IP约束限制如下： IP必须为合法的IP地址，用“.”分隔的4个十进制数，范围是0-255。 测试时IP地址后可选择添加端口，用":"隔开，端口最大限制5位，端口范围：0~65535。 例如192.168.xx.xx或者192.168.xx.xx:8181。 检测跨源连接的连通性时对域名约束限制如下：
PARTITION：分区。 参数说明 表1 参数描述 参数 描述 db_name Database名称，由字母、数字和下划线（_）组成。不能是纯数字，且不能以下划线开头。 table_name Database中的表名，由字母、数字和下划线（_）组成。不能是纯数字，且不能以下划线开头。
TBLPROPERTIES：TBLPROPERTIES子句给表添加key/value的属性。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称，由字母、数字和下划线（_）组成。不能是纯数字，且不能以数字和下划线开头。 table_name 表名称。 obs桶多版本回收站目录
表1 DLI的指定资源与对应路径 资源类型 资源名称 资源路径 queue DLI队列 queues.queuename database DLI数据库 databases.dbname table DLI表 databases.dbname.tables.tbname column
其他函数 数组函数 表1 数组函数表 函数 返回值类型 描述 CARDINALITY(ARRAY) INT 返回数组的元素个数。 ELEMENT(ARRAY) - 使用单个元素返回数组的唯一元素。 如果数组为空，则返回null。如果数组有多个元素，则抛出异常。 示例： 返回数组的元素个数为3。
表生命周期管理 创建表时指定表的生命周期 修改表生命周期的时间 禁止或恢复表的生命周期 父主题： Spark SQL语法参考（即将下线）
储了大量数据而产生的计费。具体操作请参考数据存储。 数据存储 进入“数据管理”>“库表管理”页面。 查看所建的数据库中是否有存储在DLI中的数据： 单击所要查看的数据库名，进入对应的“表管理”页面； 查看对应表的“数据存储位置”是否为DLI。 如果有存储在DLI中的数据，则按照存储计费的标准计费。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
